好吧，我猜很多從業(yè)者都以完成這些本可以通過自動化方式實現(xiàn)的工作為生。必須承認，我很慶幸自己已經(jīng)渡過了基層工作時期，再也不用為這些瑣事煩惱了。
大數(shù)據(jù)痛點五號: 分布式代碼優(yōu)化
我估計Spark當(dāng)中的大量小功能及小設(shè)定會帶來第四點里提到的各類問題。在編譯器方面，大家可以編寫優(yōu)化器來檢測循環(huán)內(nèi)的非依賴性操作，同時自動對其進行提取與并行化調(diào)整。我在分布式計算領(lǐng)域經(jīng)常會見到這類情況。所謂“數(shù)據(jù)科學(xué)家”們編寫出的Python代碼相當(dāng)垃圾，根本沒辦法有效進行問題分配，而且會造成大量不必要的內(nèi)存浪費。在這種情況下，需要由技術(shù)從中挺身而出，嘗試?yán)斫馇懊婺俏弧翱茖W(xué)家”的想法并進行優(yōu)化。
問題在于，上述狀況幾乎跟大家在編譯原理書里看到的反而實例一模一樣。我猜隨著技術(shù)的不斷發(fā)展，未來Zeppelin甚至是Spark本身會站出來幫助大家修復(fù)糟糕的代碼，并保證其與集群順暢協(xié)作。
大數(shù)據(jù)吹了這么久為什么還落不了地？就因為這九點
大數(shù)據(jù)痛點六號：分布式名不副實
我得承認，我對Hadoop的第一印象就是在Hive當(dāng)中輸入select count(*) from somesmalltable。我覺得這種使用方式真的非常差勁。大家會發(fā)現(xiàn)其中存在問題，并意識到其分布效果并不理想。有些朋友甚至不必參考其它數(shù)據(jù)（例如行數(shù)）就能發(fā)現(xiàn)我們沒辦法實現(xiàn)負載分布。通常來講，這些只是整體工作當(dāng)中的一部分（例如查找表），但無論我們實際使用的是Hive、Spark、 HDFS還是YARN，其都會首先假設(shè)所有問題都已經(jīng)得到切實分發(fā)。其中部分工作需要盡可能避免被分發(fā)，因為這樣能使其運行速度更快。最讓我受不了的就是用select * from thousandrowtable這樣的操作拖慢MapReduce任務(wù)的運行速度。
大數(shù)據(jù)痛點七號：機器學(xué)習(xí)映射
在具體實例當(dāng)中，我們都能輕松分清集群化問題、聚類問題或者其它一些歸類工作。但似乎沒人愿意解決真正有難度的部分——對業(yè)務(wù)體系中的常見部分進行映射、描述問題并通過描述映射找到應(yīng)當(dāng)使用的具體算法。
除了金融行業(yè)之外，只有10%到30%的企業(yè)能夠保持有不同于行業(yè)常規(guī)情況的特色——換言之，我們可以將銷售、市場推廣、庫存、勞動力等因素映射至一套通用模型，而后描述出適合使用的算法。這項工作不僅會改變我們處理業(yè)務(wù)的方式，同時也能極大擴展市場的整體規(guī)模。我們可以將其視為一種面向大數(shù)據(jù)的設(shè)計模式，只不過其更多是在強調(diào)業(yè)務(wù)方面的內(nèi)容。
大數(shù)據(jù)痛點八號：安全性
首先，為什么我們只能通過Kerberos實現(xiàn)單點登錄？云Web環(huán)境之下根本沒有類似于Kerberos的方案可用。
其次，廠商之間奇怪的競爭方式對Hadoop造成了極大的扭曲，而這對任何人都不是件好事。在涉及到基礎(chǔ)性身份驗證及授權(quán)層面時，我們不得不使用兩套完全不同的堆棧，才能為Hadoop的全部組成部分提供安全性支持。加密方面的產(chǎn)品競爭我還可以理解（各類方案都在以更小、更快、更強為發(fā)展目標(biāo)），但無論是選擇Ranger、Sentry或者是其它什么方案，為什么我們就不能擁有一套足以涵蓋全部Hadoop項目的驗證機制？公平地講，大數(shù)據(jù)領(lǐng)域目前的狀況比NoSQL還要糟糕; 隨便拉來一家宣稱“我們熱愛開源”的企業(yè)都能在自己“企業(yè)級”專用版本的LDAP集成部分當(dāng)中塞進幾百行開源代碼。
大數(shù)據(jù)痛點九號：提取、轉(zhuǎn)換與加載
提取、轉(zhuǎn)換與加載（簡稱ETL）可以說是每個大數(shù)據(jù)項目當(dāng)中悄無聲息的預(yù)算殺手。我們都很清楚自己到底需要利用大數(shù)據(jù)技術(shù)做些什么，但相較于將注意力集中在業(yè)務(wù)需求身上，現(xiàn)在我們首先得搞定Flume、Oozie、Pig、Sqoop以及Kettle等等。之所以面臨這樣的情況，是因為我們的原始數(shù)據(jù)往往處于混亂的狀態(tài)。但真正令人驚訝的是，沒有哪家廠商愿意拿出一套無縫化處理方案來。雖然解決這類問題沒辦法讓你拿到諾貝爾獎，但卻能夠切實幫助到廣大大數(shù)據(jù)技術(shù)用戶。