當(dāng)下，大數(shù)據(jù)的趨勢(shì)已逐步從概念走向落地，而在IT人跟隨大數(shù)據(jù)浪潮的轉(zhuǎn)型中，各大企業(yè)對(duì)大數(shù)據(jù)高端人才的需求也越來(lái)越緊迫。這一趨勢(shì)，也給想要從事大數(shù)據(jù)方面工作的人員提供了難得的職業(yè)機(jī)遇。
從長(zhǎng)期實(shí)踐總結(jié)出大數(shù)據(jù)主要的三大就業(yè)方向：大數(shù)據(jù)系統(tǒng)研發(fā)類人才、大數(shù)據(jù)應(yīng)用開發(fā)類人才和大數(shù)據(jù)分析類人才。在此三大方向中，各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師和數(shù)據(jù)分析師。
從企業(yè)方面來(lái)說(shuō)，大數(shù)據(jù)人才大致可以分為產(chǎn)品和市場(chǎng)分析、安全和風(fēng)險(xiǎn)分析以及商業(yè)智能三大領(lǐng)域。產(chǎn)品分析是指通過(guò)算法來(lái)測(cè)試新產(chǎn)品的有效性，是一個(gè)相對(duì)較 新的領(lǐng)域。在安全和風(fēng)險(xiǎn)分析方面，數(shù)據(jù)科學(xué)家們知道需要收集哪些數(shù)據(jù)、如何進(jìn)行快速分析，并最終通過(guò)分析信息來(lái)有效遏制網(wǎng)絡(luò)入侵或抓住網(wǎng)絡(luò)罪犯。
一、ETL研發(fā)
隨著數(shù)據(jù)種類的不斷增加，企業(yè)對(duì)數(shù)據(jù)整合專業(yè)人才的需求越來(lái)越旺盛。ETL開發(fā)者與不同的數(shù)據(jù)來(lái)源和組織打交道，從不同的源頭抽取數(shù)據(jù)，轉(zhuǎn)換并導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)以滿足企業(yè)的需要。
ETL研發(fā)，主要負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。
目前，ETL行業(yè)相對(duì)成熟，相關(guān)崗位的工作生命周期比較長(zhǎng)，通常由內(nèi)部員工和外包合同商之間通力完成。ETL人才在大數(shù)據(jù)時(shí)代炙手可熱的原因之一是：在企業(yè)大數(shù)據(jù)應(yīng)用的早期階段，Hadoop只是窮人的ETL。
二、Hadoop開發(fā)
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量數(shù)據(jù)的存儲(chǔ)，MapReduce提供了對(duì)數(shù)據(jù)的計(jì)算。隨著數(shù)據(jù)集規(guī)模不斷增大，而傳統(tǒng)BI的數(shù)據(jù)處理成本過(guò)高，企業(yè)對(duì)Hadoop及相關(guān)的廉價(jià)數(shù)據(jù)處理技術(shù)如Hive、HBase、MapReduce、Pig等的需求將持續(xù)增長(zhǎng)。如今具備Hadoop框架經(jīng)驗(yàn)的技術(shù)人員是最搶手的大數(shù)據(jù)人才。
三、可視化(前端展現(xiàn))工具開發(fā)
海量數(shù)據(jù)的分析是個(gè)大挑戰(zhàn)，而新型數(shù)據(jù)可視化工具如Spotifre，Qlikview和Tableau可以直觀高效地展示數(shù)據(jù)。
可視化開發(fā)就是在可視開發(fā)工具提供的圖形用戶界面上，通過(guò)操作界面元素，由可視開發(fā)工具自動(dòng)生成應(yīng)用軟件。還可輕松跨越多個(gè)資源和層次連接您的所有數(shù) 據(jù)，經(jīng)過(guò)時(shí)間考驗(yàn)，完全可擴(kuò)展的，功能豐富全面的可視化組件庫(kù)為開發(fā)人員提供了功能完整并且簡(jiǎn)單易用的組件集合，以用來(lái)構(gòu)建極其豐富的用戶界面。
過(guò)去，數(shù)據(jù)可視化屬于商業(yè)智能開發(fā)者類別，但是隨著Hadoop的崛起，數(shù)據(jù)可視化已經(jīng)成了一項(xiàng)獨(dú)立的專業(yè)技能和崗位。
四、信息架構(gòu)開發(fā)
大數(shù)據(jù)重新激發(fā)了主數(shù)據(jù)管理的熱潮。充分開發(fā)利用企業(yè)數(shù)據(jù)并支持決策需要非常專業(yè)的技能。信息架構(gòu)師必須了解如何定義和存檔關(guān)鍵元素，確保以最有效的方式進(jìn)行數(shù)據(jù)管理和利用。信息架構(gòu)師的關(guān)鍵技能包括主數(shù)據(jù)管理、業(yè)務(wù)知識(shí)和數(shù)據(jù)建模等。
五、數(shù)據(jù)倉(cāng)庫(kù)研究
數(shù)據(jù)倉(cāng)庫(kù)是為企業(yè)所有級(jí)別的決策制定過(guò)程提供支持的所有類型數(shù)據(jù)的戰(zhàn)略集合。它是單個(gè)數(shù)據(jù)存儲(chǔ)，出于分析性報(bào)告和決策支持的目的而創(chuàng)建。為企業(yè)提供需要業(yè)務(wù)智能來(lái)指導(dǎo)業(yè)務(wù)流程改進(jìn)和監(jiān)視時(shí)間、成本、質(zhì)量和控制。
數(shù)據(jù)倉(cāng)庫(kù)的專家熟悉Teradata、Neteeza和Exadata等公司的大數(shù)據(jù)一體機(jī)。能夠在這些一體機(jī)上完成數(shù)據(jù)集成、管理和性能優(yōu)化等工作。
六、OLAP開發(fā)
隨著數(shù)據(jù)庫(kù)技術(shù)的發(fā)展和應(yīng)用，數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)量從20世紀(jì)80年代的兆(M)字節(jié)及千兆(G)字節(jié)過(guò)渡到現(xiàn)在的兆兆(T)字節(jié)和千兆兆(P)字節(jié)，同時(shí)，用戶的查詢需求也越來(lái)越復(fù)雜，涉及的已不僅是查詢或操縱一張關(guān)系表中的一條或幾條記錄，而且要對(duì)多張表中千萬(wàn)條記錄的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析和信息綜合。聯(lián)機(jī)分析處理(OLAP)系統(tǒng)就負(fù)責(zé)解決此類海量數(shù)據(jù)處理的問(wèn)題。
OLAP在線聯(lián)機(jī)分析開發(fā)者，負(fù)責(zé)將數(shù)據(jù)從關(guān)系型或非關(guān)系型數(shù)據(jù)源中抽取出來(lái)建立模型，然后創(chuàng)建數(shù)據(jù)訪問(wèn)的用戶界面，提供高性能的預(yù)定義查詢功能。
七、數(shù)據(jù)科學(xué)研究
這一職位過(guò)去也被稱為數(shù)據(jù)架構(gòu)研究，數(shù)據(jù)科學(xué)家是一個(gè)全新的工種，能夠?qū)⑵髽I(yè)的數(shù)據(jù)和技術(shù)轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值。隨著數(shù)據(jù)學(xué)的進(jìn)展，越來(lái)越多的實(shí)際工作 將會(huì)直接針對(duì)數(shù)據(jù)進(jìn)行，這將使人類認(rèn)識(shí)數(shù)據(jù)，從而認(rèn)識(shí)自然和行為。因此，數(shù)據(jù)科學(xué)家首先應(yīng)當(dāng)具備優(yōu)秀的溝通技能，能夠同時(shí)將數(shù)據(jù)分析結(jié)果解釋給IT部門和業(yè)務(wù)部門領(lǐng)導(dǎo)。