作為經(jīng)濟(jì)實(shí)惠的分布式計(jì)算開源框架，Hadoop無疑引起了技術(shù)人士的關(guān)注，他們以前使用昂貴的專有軟件來處理龐大的數(shù)據(jù)集，費(fèi)錢又費(fèi)力。但如果說Hadoop的Java明星光環(huán)已經(jīng)開始淡去，那么正在取代它的則是另一項(xiàng)可能更有前途的技術(shù)，那就是Apache Spark。
Apache Spark在大數(shù)據(jù)階梯上的極速躥升是一個(gè)非常值得注意的現(xiàn)象，不僅IBM等大公司紛紛擁抱該技術(shù)，而且?guī)缀跛械腂I和可視化工具提供商都使用這項(xiàng)基于內(nèi)存的技術(shù)來進(jìn)行批處理、交互處理和流處理。有些人認(rèn)為，Spark在應(yīng)用和受歡迎程度方面終將超越Hadoop，甚至已經(jīng)超越。
Flink和Beam誕生
Spark基本上已經(jīng)取代了Hadoop的批處理引擎MapReduce，更別說Spark的SQL、機(jī)器學(xué)習(xí)和流處理能力。但永不滿足的大數(shù)據(jù)界希望改進(jìn)這套得到Databricks公司支持、用Scala語(yǔ)言編寫的多用途框架。于是Apache Flink和Apache Beam應(yīng)運(yùn)而生，成為了Spark在大數(shù)據(jù)框架之戰(zhàn)中的勁敵。
2016年3月，Cloudera公司的卡丁向Data Artisans公司的Flink項(xiàng)目表達(dá)了敬意。當(dāng)時(shí)他說：“Flink在架構(gòu)設(shè)計(jì)上可能要比Spark好上那么一點(diǎn)點(diǎn)。”與此同時(shí)，基于谷歌Cloud Dataflow API的Apache Beam受到了Talend公司一位法國(guó)大數(shù)據(jù)架構(gòu)師的支持。Beam雄心勃勃，想要用同一組API統(tǒng)一所有的大數(shù)據(jù)應(yīng)用開發(fā)，并通過“Runner”這種執(zhí)行引擎支持Spark、Flink和Google Dataflow。
歷史性的民調(diào)失靈
毫無疑問，當(dāng)今的政治民意調(diào)查已經(jīng)成為應(yīng)用統(tǒng)計(jì)(也就是“大數(shù)據(jù)分析”)的一個(gè)運(yùn)用領(lǐng)域。以前，嚴(yán)謹(jǐn)?shù)拿褚庹{(diào)查只需要通過白頁(yè)上的選民名字和電話號(hào)碼就可以進(jìn)行。但現(xiàn)在，民意調(diào)查機(jī)構(gòu)如果想從形形色色的選民中獲取具有代表性的樣本，就必須建立細(xì)致的權(quán)重模型。
民意調(diào)查機(jī)構(gòu)未能就2016年6月的“英國(guó)脫歐”公投準(zhǔn)確評(píng)估選民情緒。如果說這還只是讓人感到意外的話，那么唐納德·特朗普(Donald Trump)在11月份的總統(tǒng)選舉中擊敗希拉里·克林頓(Hillary Clinton)，與幾乎所有的政治民意調(diào)查結(jié)果截然相反(只有一項(xiàng)調(diào)查例外)，則可以說是大數(shù)據(jù)分析在2016年甚至可能是近十年來的最大慘敗。
大數(shù)據(jù)黑客入侵
數(shù)據(jù)明顯具有價(jià)值，無論保險(xiǎn)公司和會(huì)計(jì)師怎么說。所以壞人會(huì)想要竊取個(gè)人和企業(yè)的數(shù)據(jù)也真的去竊取了，完全不足為奇。2016年發(fā)生了多起引人注目的數(shù)據(jù)泄露事件，比如美國(guó)民主黨全國(guó)委員會(huì)的電子郵件服務(wù)器被攻陷，雅虎10億用戶的數(shù)據(jù)被黑。而這還沒算上雅虎曾在2016年9月承認(rèn)，黑客入侵了該公司5億用戶的賬戶。
IdentityForce制作的“2016年網(wǎng)絡(luò)安全恥辱墻”上還包括：美國(guó)司法部(3萬名DHS和FBI職員的數(shù)據(jù)失竊);美國(guó)國(guó)稅局(70萬名納稅人的記錄泄露);威瑞森(150萬客戶的記錄泄露);甲骨文(33萬臺(tái)MICROS收銀機(jī)被入侵);Dropbox(承認(rèn)6,800萬個(gè)賬戶被入侵);AdultFriendFinder.com(4.12億用戶的記錄泄露)。
新的數(shù)據(jù)初創(chuàng)公司
2016年對(duì)大數(shù)據(jù)的風(fēng)險(xiǎn)投資較2015年減少了大約10%，但這沒有阻止科技創(chuàng)業(yè)者成立新公司，希望挖到大數(shù)據(jù)金礦。2016年的新來者包括：
SnappyData，致力于統(tǒng)一Spark和Pivotal的GemFire數(shù)據(jù)網(wǎng)格; Panoply，為AWS Redshift 用戶開發(fā)ETL 軟件; Cosmify，利用機(jī)器學(xué)習(xí)挖掘客戶信息; Bonsai，這家AI公司在Strata + Hadoop World大會(huì)上贏得了創(chuàng)業(yè)展示比賽; Armorway，利用深度學(xué)習(xí)實(shí)現(xiàn)網(wǎng)絡(luò)安全; Leyvx，將Flash和Spark結(jié)合起來; Jask，利用AI進(jìn)行網(wǎng)絡(luò)安全分析; Alluvium，致力于縮小“機(jī)器與人”的差距; Pachyderm，這家容器公司在Strata + Hadoop World大會(huì)上贏得創(chuàng)業(yè)展示比賽; Skry，區(qū)塊鏈智能供應(yīng)商; Wavefront，利用大數(shù)據(jù)來監(jiān)控IT。
實(shí)時(shí)Kafka
人人都喜歡的大數(shù)據(jù)總線Apache Kafka在2016年如魚得水，這要?dú)w功于對(duì)分析高速移動(dòng)數(shù)據(jù)的新要求。Kafka才面世五年，但這部由LinkedIn開發(fā)的消息隊(duì)列系統(tǒng)已經(jīng)成為管理流數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)管道的事實(shí)標(biāo)準(zhǔn)。
Kafka由杰伊·克雷普斯(Jay Kreps)和尼哈·納赫德(Neha Narkhede)創(chuàng)造，得到了兩人領(lǐng)導(dǎo)的Confluent公司團(tuán)隊(duì)的支持，是2016年最受歡迎的大數(shù)據(jù)項(xiàng)目之一。由于人們對(duì)實(shí)時(shí)分析的興趣高漲，這個(gè)開源項(xiàng)目的采用率正在飆升。隨著批處理范式不斷與實(shí)時(shí)數(shù)據(jù)處理相融合，如果克雷普斯的Kappa架構(gòu)超越目前流行的Lambda架構(gòu)，請(qǐng)不要感到驚訝。
開源數(shù)據(jù)項(xiàng)目
并非所有的大數(shù)據(jù)產(chǎn)品都是由盈利性企業(yè)開發(fā)。最有前途的新技術(shù)很多都是開源項(xiàng)目。2016年引人注目的開源大數(shù)據(jù)項(xiàng)目包括：