馬云說:“未來最大的能源不是石油而是大數(shù)據(jù)”。大數(shù)據(jù)已經(jīng)從概念走向了價值,甚至成為了可積累的資產(chǎn),人們越來越期望通過海量數(shù)據(jù)的處理發(fā)現(xiàn)機遇。隨著教育行業(yè)與大數(shù)據(jù)的深度融合,越來越多的高校(高職)開始著重建設(shè)大數(shù)據(jù)專業(yè)與大數(shù)據(jù)實驗室,培養(yǎng)稀缺的大數(shù)據(jù)人才,以填補百萬級的大數(shù)據(jù)人才缺口。然而,目前大多數(shù)高校的大數(shù)據(jù)專業(yè)建設(shè)仍然處于試錯階段,從實驗環(huán)境、課程體系直至師資力量,亟需系統(tǒng)有效的統(tǒng)籌規(guī)劃。

對此,云創(chuàng)大數(shù)據(jù)推出了全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃,與全國各大高校一同探索大數(shù)據(jù)專業(yè)的建設(shè)之路。全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃由清華大學(xué)博士、中國信息協(xié)會大數(shù)據(jù)分會副會長劉鵬教授提出,劉教授曾率隊奪得2002 PennySort國際計算機排序比賽冠軍(這是我國獲得的較早的一個大數(shù)據(jù)比賽冠軍),在清華大學(xué)、北京大學(xué)、中科院等單位做了500多場學(xué)術(shù)報告,多次主持全國性網(wǎng)格、云計算會議,在2010年就曾組織與培養(yǎng)了較早的一批云計算師資力量(http://www.chinacloud.cn/show.aspx?id=3632&cid=50),有著豐富的科研與教學(xué)經(jīng)驗。

早年,劉教授主編了國內(nèi)云計算教材——《云計算》,這本書已經(jīng)更新到第三版,成為全國幾乎所有高校的標(biāo)準(zhǔn)教材。近期,劉鵬教授聯(lián)合全國多所大學(xué)共同編寫的《大數(shù)據(jù)》教材即將出版,而其編著的國內(nèi)原著云計算編程書籍——《實戰(zhàn)Hadoop——開啟通向云計算的捷徑》目前已經(jīng)升級出版為《實戰(zhàn)Hadoop2.0——從云計算到大數(shù)據(jù)》。同時,劉教授創(chuàng)辦了國內(nèi)知名的中國云計算(www.chinacloud.cn)和中國大數(shù)據(jù)(www.thebigdata.cn)網(wǎng)站,可為大數(shù)據(jù)專業(yè)的建設(shè)提供多元化的資源。

具體而言,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃將從以下幾個方面對大數(shù)據(jù)專業(yè)建設(shè)給予支持,為大數(shù)據(jù)人才的培養(yǎng)提供前提條件:
制定人才培養(yǎng)計劃,完善大數(shù)據(jù)教學(xué)體系
由于各大高校的大數(shù)據(jù)專業(yè)處于起步階段,培養(yǎng)計劃與教學(xué)體系的系統(tǒng)性建設(shè)成為了建設(shè)重點。對此,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃將協(xié)助各高校制定大數(shù)據(jù)人才培養(yǎng)計劃,為開設(shè)各種大數(shù)據(jù)相關(guān)課程設(shè)定技術(shù)標(biāo)準(zhǔn),包括《云計算》、《大數(shù)據(jù)》、《數(shù)據(jù)挖掘與R語言》、《深度學(xué)習(xí)》、《Hadoop編程》、《大數(shù)據(jù)清洗》、《大數(shù)據(jù)運維》等等,并輔助提供相應(yīng)的教學(xué)計劃、教材、課件、實驗規(guī)劃等。

提供完備的實驗環(huán)境與實驗教材視頻
大數(shù)據(jù)實驗需要每位學(xué)生提供一套集群計算環(huán)境,但這對高校而言,根本是一個無法實現(xiàn)的要求。即使是使用虛擬化技術(shù),一臺服務(wù)器只能虛擬出十幾臺虛擬機,也是遠(yuǎn)遠(yuǎn)不夠的。而使用容器技術(shù),則可以把一臺機器虛擬出上千個容器,再利用大數(shù)據(jù)平臺把多臺服務(wù)器的數(shù)萬個容器組織起來,就能實現(xiàn)為每個學(xué)生提供一套集群的需求了。
對此,全國高校(高職)大數(shù)據(jù)專業(yè)建設(shè)支撐計劃借力BDRack大數(shù)據(jù)實驗一體機,以Docker容器技術(shù)虛擬出足夠的實驗集群,并提供了從實驗設(shè)備、實驗手冊直至教學(xué)視頻的一站式服務(wù),其配套的實驗手冊和教學(xué)視頻涵蓋了36個關(guān)鍵的大數(shù)據(jù)應(yīng)用實驗,每個實驗呈現(xiàn)詳細(xì)的實驗?zāi)康摹嶒瀮?nèi)容、實驗原理和實驗流程指導(dǎo),廣大師生通過參照手冊與視頻,即可輕松完成每個實驗。

具體而言,BDRack大數(shù)據(jù)實驗一體機主要為各大高校(高職)的大數(shù)據(jù)應(yīng)用提供了軟硬件于一體的平臺,其基于Docker容器技術(shù),實現(xiàn)了操作平臺的簡單易用,可提供Hadoop、HBase、Spark、Storm等大數(shù)據(jù)教學(xué)組件,以少量集群供大量學(xué)生同時在線使用,彼此隔離,互不影響,為高校大幅度節(jié)省了硬件和人員管理的投入成本。配套實驗手冊與教學(xué)視頻,大數(shù)據(jù)實驗一體機可以幫助高校更好地滿足課程設(shè)計、課程上機實驗、實習(xí)實訓(xùn)、科研訓(xùn)練等多方面需求。目前,鄭州大學(xué)、西京學(xué)院等院校已經(jīng)搶先部署使用,正在逐步建立和完善大數(shù)據(jù)教學(xué)科研體系。