不業(yè)務,無大數(shù)據(jù)。
2、顛覆BI,打造大數(shù)據(jù)技術引擎
這是當前大數(shù)據(jù)領域最火的地方,很多企業(yè)紛紛在建設自己的大數(shù)據(jù)臺,不外乎解決以下問題,以下僅舉例。
比如用Hadoop、流處理等技術解決海量的結構化、非結構化數(shù)據(jù)的ETL問題,用Hadoop、MPP等技術計算海量數(shù)據(jù)的計算問題,用redis、HBASE等方式解決高效讀的問題,用Impala等技術實現(xiàn)在線分析等問題。
本質是基于廉價的機器,采用去中心化,分布式的方式去解決海量結構,非結構化數(shù)據(jù)的存儲、處理和讀寫的問題。
要理解這個,其實去讀懂Google的三篇論文就可以了,分別是關于Google File System、Google Bigtable及Google MapReduce的。
但并不是每個企業(yè)都需要打造自己的大數(shù)據(jù)平臺,量力而行吧,可以自研 ,比如BAT,也可以采購,比如傳統(tǒng)大企業(yè),也可以租用,比如用阿里云和AWS。
在技術上,傳統(tǒng)BI的ETL、數(shù)據(jù)倉庫、OLAP、可視化報表技術,都處于淘汰的邊緣,因為它解決不了海量數(shù)據(jù)(包括結構化與非結構化)的處理問題,其所有的功能都可以被對應的大數(shù)據(jù)組件所替代,因此不再有發(fā)展前途,大多數(shù)企業(yè)即使沒有大數(shù)據(jù)業(yè)務的驅動,但大數(shù)據(jù)技術的成本優(yōu)勢在那里,不做大數(shù)據(jù)也倒逼你用大數(shù)據(jù)技術,是不?
當然傳統(tǒng)BI那套,也將長期存在,畢竟大數(shù)據(jù)的普及和應用是個漫長的過程,傳統(tǒng)企業(yè)對于大數(shù)據(jù)技術穩(wěn)定性的擔憂也是個障礙,但企業(yè)至少要末雨綢繆了,趨勢不可擋啊,大數(shù)據(jù)技術會越來越成熟。
我記得自己的企業(yè)1年前還在用DB2,僅一年的時間,GBASE就把它替換了。我們總是低估了技術革命對于我們自身的影響程度。
3、重塑BI,升級人員的知識結構
有了業(yè)務,也有了技術,再來看看人吧,很多企業(yè)在熱火朝天的建設大數(shù)據(jù)平臺,但建完之后,卻發(fā)現(xiàn)仍然是個報表系統(tǒng),或者仍然是原來的BI,領導一看,會感嘆,不就是換了個馬甲啊,大數(shù)據(jù)有啥用?
很多企業(yè),它可以有很多的預算購買很貴的機器和軟件,但對于引入人才和培養(yǎng)人才卻有點力不從心,買了1個億的大數(shù)據(jù)硬件和軟件,卻希望原來的BI班底就能帶來大數(shù)據(jù)應用的繁榮,那也是差強人意的事情,新品裝舊酒,原來班底能搞定公司的報表系統(tǒng)就已經(jīng)很好了。
為什么傳統(tǒng)BI人員搞不定?
大數(shù)據(jù)需要有人專門研究和探索,傳統(tǒng)BI人員時間精力有限,此為其一,不是否定BI人員的能力,只是表達不要奢望BI人員既做個合格的報表哥,又是個大數(shù)據(jù)創(chuàng)新達人,企業(yè)要能做些取舍。
大數(shù)據(jù)的數(shù)據(jù)處理,涉及太多新的技術,傳統(tǒng)BI只要懂點SQL就可以活的很好了,但現(xiàn)在看看,不同的應用場景需要不同的大數(shù)據(jù)處理方法了,而且不再有人機交互那么好的客戶端了,至少要懂流處理、HADOOP、列式或分布式鍵值數(shù)據(jù)庫吧,大數(shù)據(jù)對于BI人員的技能要求其實大幅提高了,此其二。
大數(shù)據(jù)更強調全量了,原來的BI挖掘人員,搞一些樣本在單機上運行個R就很歡樂,但現(xiàn)在不行了,針對5000萬用戶搞個三度交往圈試試?傳統(tǒng)方式在BI時代大都嘗試過了,只有更新方法,才能帶來新的機會,比如,至少要求建模師會在SPARK上開發(fā)算法程序吧,對于用戶畫像、產(chǎn)品標簽化、推薦系統(tǒng)、排序算法都應有所理解,此其三。
人才是大數(shù)據(jù)的核心要素,沒有人的投入,不能奢望有啥產(chǎn)出,需要多點人才的引入和培養(yǎng),少點大數(shù)據(jù)的心靈雞湯,大數(shù)據(jù)絕對不是大忽悠,如果有所懷疑,就問問你這個企業(yè)有多少人是在做大數(shù)據(jù)研究和實踐的。
因此,大數(shù)據(jù)相對于傳統(tǒng)BI,不是簡單的PLUS的關系,它涉及了思想、工具和人員深層次的變革,BI人員既不要一提大數(shù)據(jù),就嗤之以鼻,認為它是新包裝的馬甲,其實就那么回事;也不需妄自菲薄,以為搞大數(shù)據(jù)就那么高大上,它的確是BI大多數(shù)思想的傳承,傳統(tǒng)BI對于數(shù)據(jù)的處理思想,都可以用于大數(shù)據(jù)。
順應大勢,更新自己,奮起直追,重裝上陣,是BI應有的態(tài)度。