據(jù)相關(guān)報告，國內(nèi)大數(shù)據(jù)人才缺口目前已達(dá)百萬，一名高級數(shù)據(jù)挖掘工程師月薪高達(dá)30K-50K。招聘網(wǎng)站上的每天都會產(chǎn)生大量的大數(shù)據(jù)相關(guān)職位需求。據(jù)拉勾網(wǎng)提供的統(tǒng)計來看，從2014年到2015年，IT行業(yè)關(guān)于大數(shù)據(jù)的崗位需求增長了2.4倍。人才培養(yǎng)迫在眉睫。復(fù)旦大學(xué)于今年成立了全國首個大數(shù)據(jù)學(xué)院。阿里云于年底宣布新增30所合作高校，開設(shè)云計算大數(shù)據(jù)專業(yè),計劃用3年時間培養(yǎng)5萬名數(shù)據(jù)科學(xué)家。各知名大學(xué)也將數(shù)據(jù)科學(xué)設(shè)為碩士課程。
無論是國內(nèi)還是國外，數(shù)據(jù)科學(xué)都是目前炙手可熱的研究領(lǐng)域，數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師都是非常火爆的職位，幾乎所有的產(chǎn)業(yè)都需要數(shù)據(jù)科學(xué)家來從大量的數(shù)據(jù)中挖掘有價值的信息。大數(shù)據(jù)分析領(lǐng)域的專屬首席級別頭銜也愈發(fā)多見。美國政府今年任命了DJ Patil作為政府的首席數(shù)據(jù)科學(xué)家(Chief Data Scientist)，這也是美國政府內(nèi)部首次設(shè)立“數(shù)據(jù)科學(xué)家”這個職位。
展望2016：
Hadoop。對于 HDFS，會朝著異構(gòu)存儲介質(zhì)方向發(fā)展，尤其是對新興存儲介質(zhì)的支持;對于 YARN，會朝著通用資源管理和調(diào)度方向發(fā)展，而不僅僅限于大數(shù)據(jù)處理領(lǐng)域，在加強(qiáng)對 MapReduce、Spark等短類型應(yīng)用支持的同時，加強(qiáng)對類似Web Service 等長服務(wù)的支持;
對于Hbase，將會花費更多精力在穩(wěn)定性和性能方面，正嘗試的技術(shù)方向包括：對于 HDFS 多存儲介質(zhì)的使用;減少對 ZooKeeper 的使用以及通過使用堆外內(nèi)存緩解Java GC的影響。
Spark 2.0預(yù)計明年三四月份發(fā)布，將會確立以DataFrame和Dataset為核心的體系架構(gòu)。同時在各方面的性能上會有很大的提升。
Apache Kylin 2.0即將發(fā)布，隨著各項改進(jìn)的不斷完善，該版本將在2016年在OLAP on Hadoop上更進(jìn)一步!
ElasticSearch開源搜索平臺，機(jī)器學(xué)習(xí)，Data graphics，數(shù)據(jù)可視化在2016年會更加火熱。
大數(shù)據(jù)會越來越大，IOT、社交媒體依然是一個主要的推動因素。
大數(shù)據(jù)的安全和隱私會持續(xù)受到關(guān)注。
專家介紹：
董西成就職于Hulu，專注于分布式計算和資源管理系統(tǒng)等相關(guān)技術(shù)。《Hadoop 技術(shù)內(nèi)幕：深入解析 MapReduce 架構(gòu)設(shè)計與實現(xiàn)原理》和《Hadoop 技術(shù)內(nèi)幕：深入解 析 YARN 架構(gòu)設(shè)計與實現(xiàn)原理》作者，dongxicheng.org 博主。
梁堰波明略數(shù)據(jù)技術(shù)合伙人，開源愛好者，Apache Spark項目核心貢獻(xiàn)者。北京航空航天大學(xué)計算機(jī)碩士，曾就職于Yahoo!、美團(tuán)網(wǎng)、法國電信從事機(jī)器學(xué)習(xí)和推薦系統(tǒng)相關(guān)的工作，在大數(shù)據(jù)、機(jī)器學(xué)習(xí)和分布式系統(tǒng)領(lǐng)域具備豐富的項目經(jīng)驗。
盧億雷精碩科技(AdMaster)技術(shù)副總裁兼總架構(gòu)師，大數(shù)據(jù)資深專家，CCF(中國計算學(xué)會)大數(shù)據(jù)專委委員，北航特聘教授。主要負(fù)責(zé)數(shù)據(jù)的采集、清洗、存儲、挖掘等整個數(shù)據(jù)流過程，確保提供高可靠、高可用、高擴(kuò)展、高性能系統(tǒng)服務(wù)，提供Hadoop/HBase/Storm/Spark/ElasticSearch等離線、流式及實時分布式計算服務(wù)。對分布式存儲和分布式計算、超大集群、大數(shù)據(jù)分析等有深刻理解及實踐經(jīng)驗。有超過10年云計算、云存儲、大數(shù)據(jù)經(jīng)驗。曾在聯(lián)想、百度、Carbonite工作，并擁有多篇大數(shù)據(jù)相關(guān)的專利和論文。
韓卿(Luke Han) eBay全球分析基礎(chǔ)架構(gòu)部(ADI) 大數(shù)據(jù)平臺產(chǎn)品負(fù)責(zé)人，Apache Kylin 副總裁，聯(lián)合創(chuàng)始人，管理和驅(qū)動著Apache Kylin的愿景，路線圖，特性及計劃等，在全球各地不同部門中發(fā)展客戶，開拓內(nèi)外部合作伙伴及管理開源社區(qū)等，建立與大數(shù)據(jù)廠商，集成商及最終用戶的聯(lián)系已構(gòu)建健壯的Apache Kylin生態(tài)系統(tǒng)。在大數(shù)據(jù)，數(shù)據(jù)倉庫，商務(wù)智能等方面擁有超過十年的工作經(jīng)驗。