組織機構(gòu)不僅在使用大數(shù)據(jù)來解決已有的業(yè)務難題(銷售更多商品、檢測欺詐、報告風險等),而且也在使用大數(shù)據(jù)分析得到的見解來快速實驗新的業(yè)務模型。聰明的 CDO(首席數(shù)據(jù)官)應該知道如何擁有這種技術(shù)、創(chuàng)造合適的內(nèi)部成本核算模型并將已有的業(yè)務線(LOB)項目納入到數(shù)據(jù)湖(data lake)。
每個 CDO 在一開始時就要提出以下兩個問題:
整個組織將要具備怎樣的業(yè)務能力?哪方面的數(shù)字轉(zhuǎn)換可以通過大數(shù)據(jù)達到最優(yōu)?
假設 3:對于 PB 級的大規(guī)模數(shù)據(jù),大數(shù)據(jù)是唯一可行的技術(shù)解決方案
該作者寫道:「如果你的企業(yè)沒有巨量數(shù)據(jù)的問題,你真的用不著 Hadoop,所以數(shù)以百計的企業(yè)都對他們無用的 2 到 10 TB 的 Hadoop 集群感到非常失望——在這種規(guī)模上,Hadoop 技術(shù)沒有任何優(yōu)勢?!?/p>
這并不能從實際情況上觀察到,因為以下三個原因:
首先,大多數(shù) TB 級的項目都是租用的更大規(guī)模的集群。數(shù)據(jù)湖的真正價值是在跨組織的數(shù)據(jù)庫上構(gòu)建,而在此之前,這么做需要高昂的成本,或者難度太大。一旦你將所有數(shù)據(jù)都集中到了一處,那么你就可以將它們混合起來,以一種前所未有的方式對其進行分析。
其次,正如我將在下面說的那樣,許多玩家正在使用大數(shù)據(jù)來在操作 TB 級的數(shù)據(jù)的同時獲得關鍵的「速度」優(yōu)勢。
第三,我推薦每一個客戶從「小」開始,并將數(shù)據(jù)湖用作企業(yè)登陸區(qū)——用于企業(yè)常規(guī)業(yè)務運營所產(chǎn)生的數(shù)據(jù)。Hadoop 集群不僅可被用作廉價的存儲,但也可用于執(zhí)行一些重復但計算密集型的數(shù)據(jù)處理任務(數(shù)據(jù)連接、排序、分割、binning 等等),這能將企業(yè)數(shù)據(jù)倉庫(EDW)從一系列繁重的工作中解脫出來。
假設 4:很難找到 Hadoop 人才
作者的話——「盡管 57% 的人認為,技術(shù)鴻溝是主要原因,這個比例也不會一夜之間發(fā)生改變。這正好與 Indeed 的發(fā)現(xiàn)吻合:他們追蹤了『Hadoop 測試』崗位情況,2014 年中期,招聘廣告百分比最高為 0.061%,但是,2016 年增至 0.087%,18 個月里增加了 43%。這些情況可能預示著,采用 Hadoop 并沒有下降到那些傳聞臆想所暗示的程度,不過,公司也很容易發(fā)現(xiàn)他們很難從公司當前團隊的 Hadoop 那里實現(xiàn)價值,他們需要更好的專業(yè)技術(shù)人才。」
這個技術(shù)鴻溝是確實存在的且主要存在這三個領域——數(shù)據(jù)科學家、數(shù)據(jù)工程師以及 Hadoop 管理員。不過,這并不是 Hadoop 獨有的難題,實際上每種新技術(shù)都會有這種煩惱。公司要通過增強內(nèi)部員工的的技能、與全球系統(tǒng)集成商(GSI)、與學術(shù)界合作來彌合這個鴻溝。實際上,從事大數(shù)據(jù)項目的前景會吸引人才加入組織。
大型組織該如何啟動自己的大數(shù)據(jù)之旅?
避免跌進「大數(shù)據(jù)并不帶來價值」這個坑的最佳措施是什么?
以最高級別推進大數(shù)據(jù)以及大數(shù)據(jù)商業(yè)和技術(shù)應用的討論。大數(shù)據(jù)需要在最高級別上成為組織 DNA 的一部分,需要和其他驅(qū)動產(chǎn)業(yè)的主要技術(shù)一起加以討論——比如云技術(shù)、移動技術(shù)、開發(fā)運營以及社交、API 等。打造或者組建一支首席數(shù)據(jù)官領導下的團隊。團隊可以是現(xiàn)實的,也可是虛擬的,但都需要將組織策略納入考慮。建立一個卓越中心(COE:Center of Excellence)或者類似這樣的聯(lián)合渠道,在這里,中心團隊可以就這些項目與不同的業(yè)務線合作。作為 COE 的一部分,還要制定一個采納最新技術(shù)的流程。合適的監(jiān)管和項目監(jiān)督找出那些能驅(qū)動大數(shù)據(jù)項目的關鍵業(yè)務標準,包括對期望增長加速、成本削減、風險管理以及實現(xiàn)競爭優(yōu)勢的詳細分析。讓業(yè)務線參與進來,以迭代的方式發(fā)展這些能力。幾乎所有成功的大數(shù)據(jù)項目都是以一種開發(fā)運營的方式得以推進的。
總結(jié)
大數(shù)據(jù)生態(tài)系統(tǒng)和 Hadoop 技術(shù)為全球垂直領域的組織提供了一個成熟、穩(wěn)定和功能豐富的平臺來實施復雜的數(shù)字化項目。不過,技術(shù)的成熟度僅僅是一個必要因素。就旨在創(chuàng)新的思維模式而言,組織能力才是驅(qū)動內(nèi)部變革的關鍵力量。因此,在商業(yè)領導、IT 團隊以及內(nèi)部領域?qū)<液凸芾砀鱾€方面,孕育學習的思維模式也很關鍵。對于大數(shù)據(jù)來說,普世座右銘「一分耕耘一分收獲」更加真實。盡管很容易將某個項目的失敗歸咎給一項技術(shù)、某個公司或者某個技術(shù)不佳的人員,但是,你應該與安于現(xiàn)狀的思維模式作斗爭。確認競爭沒有停下來時,你才能安心。