一、關(guān)于大數(shù)據(jù)時(shí)代
中國(guó)IDC圈3月29日?qǐng)?bào)道，大數(shù)據(jù)時(shí)代開(kāi)始于2001年，我是比較認(rèn)可這一觀點(diǎn)的。因?yàn)榇髷?shù)據(jù)這個(gè)詞語(yǔ)被創(chuàng)造出來(lái)是在20世紀(jì)90年代，在2000年的時(shí)候第一次在學(xué)術(shù)論文上有人將它提出，在2003年的時(shí)候在Francis X.Diebolt在《宏觀經(jīng)濟(jì)測(cè)量和預(yù)測(cè)的大數(shù)據(jù)動(dòng)態(tài)因子模型》一書(shū)中正式將大數(shù)據(jù)這個(gè)詞語(yǔ)進(jìn)行詮釋和應(yīng)用。自然，在13年前的那個(gè)時(shí)代，全世界的熱點(diǎn)是在于互聯(lián)網(wǎng)，在于互聯(lián)網(wǎng)門(mén)戶或者社交。在2005年的時(shí)候，當(dāng)前最火爆的Hadoop項(xiàng)目就已經(jīng)被創(chuàng)建，之所以在10多年后大數(shù)據(jù)和Hadoop項(xiàng)目才受到熱捧和關(guān)注主要是因?yàn)楫?dāng)時(shí)的數(shù)據(jù)還不夠大。在現(xiàn)如今的世界，隨著互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、IOT、智能設(shè)備的發(fā)展，你舉目四望會(huì)發(fā)現(xiàn)整個(gè)世界每秒都在生產(chǎn)海量的數(shù)據(jù)，我們所有的世界空間、所有的行為路徑都在被數(shù)據(jù)給描述，我們都在生產(chǎn)數(shù)據(jù)又依賴于數(shù)據(jù)。在非量子的認(rèn)知體系內(nèi)，我們的確處于一個(gè)無(wú)邊無(wú)際的大數(shù)據(jù)時(shí)代，這是一個(gè)數(shù)據(jù)為王、數(shù)據(jù)即能源的時(shí)代。
二、說(shuō)一說(shuō)工業(yè)4.0
對(duì)于工業(yè)4.0這個(gè)概念，我認(rèn)為兩個(gè)最權(quán)威的定義就可以解釋的明白。工業(yè)4.0這個(gè)概念是德國(guó)最先提出的，德國(guó)對(duì)于工業(yè)4.0的解釋是這樣的：所謂的工業(yè)四代(Industry4.0)是指利用物聯(lián)信息系統(tǒng)(Cyber—PhysicalSystem簡(jiǎn)稱CPS)將生產(chǎn)中的供應(yīng)，制造，銷(xiāo)售信息數(shù)據(jù)化、智慧化，最后達(dá)到快速，有效，個(gè)人化的產(chǎn)品供應(yīng)。中國(guó)正處在兩化融合升級(jí)的過(guò)程，因?yàn)橹袊?guó)政府迅速與德國(guó)政府就工業(yè)4.0達(dá)成合作。在中德關(guān)于工業(yè)4.0的《中德合作行動(dòng)綱要》中，有關(guān)工業(yè)4.0合作的內(nèi)容共有4條，第一條就明確提出工業(yè)生產(chǎn)的數(shù)字化就是工業(yè)4.0?，F(xiàn)在，我覺(jué)得我們可以很好的理解工業(yè)4.0的意義，工業(yè)4.0就是工業(yè)數(shù)字化，而更人們興奮的是在工業(yè)數(shù)字化背后的工業(yè)大數(shù)據(jù)。工業(yè)數(shù)字化或者說(shuō)工業(yè)智能化的潛力是顯而易見(jiàn)且令人震撼的，有幸在一個(gè)項(xiàng)目中參觀了蒙牛6期工廠，整個(gè)智能化、自動(dòng)化的生產(chǎn)線的確給我了很大的震撼，而且作為一個(gè)外行的我就能明白這個(gè)是一個(gè)多么有價(jià)值有意義的事情。在參觀中，我發(fā)現(xiàn)整個(gè)蒙牛工廠6期最核心的部分是其設(shè)在廠房中央的智能數(shù)據(jù)控制中心，這個(gè)智能數(shù)據(jù)控制中心的作用就是根據(jù)所有設(shè)備的運(yùn)行數(shù)據(jù)的分析結(jié)果控制整個(gè)廠房的所有設(shè)備進(jìn)行生產(chǎn)。根據(jù)上周末在廣州與一個(gè)朋友聊天的內(nèi)容，我了解到像蒙牛工廠6期的這種智能化設(shè)備的控制背后其實(shí)就是大數(shù)據(jù)的深度機(jī)器學(xué)習(xí)控制算法。那么，將德國(guó)對(duì)于工業(yè)4.0定義中的供應(yīng)、制造、銷(xiāo)售三個(gè)環(huán)節(jié)與大數(shù)據(jù)結(jié)合就是工業(yè)4.0的供應(yīng)大數(shù)據(jù)、制造大數(shù)據(jù)、銷(xiāo)售大數(shù)據(jù)，接下來(lái)我們就是要圍繞這三個(gè)大數(shù)據(jù)來(lái)聊聊大數(shù)據(jù)時(shí)代與工業(yè)4.0。
三、工業(yè)4.0大數(shù)據(jù)
三.一、供應(yīng)大數(shù)據(jù)
說(shuō)供應(yīng)大數(shù)據(jù)可能不太很好的準(zhǔn)確理解其所指的是什么，但是如果說(shuō)供應(yīng)鏈大數(shù)據(jù)你肯定一下就知道其所指的是什么了。說(shuō)到供應(yīng)(鏈)大數(shù)據(jù)，我相信很多人都能想到一點(diǎn)如何去做供應(yīng)鏈大數(shù)據(jù)，因?yàn)樵谶@個(gè)互聯(lián)網(wǎng)和物流發(fā)達(dá)的年代，全球采購(gòu)已經(jīng)不是什么新鮮事了。在正式切入供應(yīng)大數(shù)據(jù)前，我還想先講一個(gè)供應(yīng)鏈的事。在去年，大家可能看到過(guò)這樣一個(gè)新聞，就是一個(gè)浙江蔬菜銷(xiāo)售商春節(jié)前從山東采購(gòu)了一批大蔥，這批大蔥還沒(méi)有運(yùn)到浙江前銷(xiāo)售價(jià)格已經(jīng)漲到其采購(gòu)價(jià)格的10倍以上。這位蔬菜銷(xiāo)售商之所以在這次生意上能夠躺賺，是因?yàn)樗ㄟ^(guò)一些途徑了解到了大蔥的主產(chǎn)地山東去年大蔥有了大面積減產(chǎn)的信息。那么，對(duì)于工業(yè)生產(chǎn)而言同樣也是這樣的，只有能夠準(zhǔn)確的預(yù)測(cè)到原材料采購(gòu)價(jià)格的變化趨勢(shì)，才能夠通過(guò)最優(yōu)的采購(gòu)策略來(lái)大大的降低生產(chǎn)成本。在當(dāng)前的全球經(jīng)濟(jì)的時(shí)代，影響工業(yè)生產(chǎn)某樣原材料采購(gòu)價(jià)格的因素有如下幾種：全球的生產(chǎn)規(guī)模、全球的生產(chǎn)率、期貨市場(chǎng)、國(guó)際環(huán)境、物流運(yùn)輸環(huán)境、匯率、地緣政治環(huán)境、主要生產(chǎn)地的政治環(huán)境等等，而這些因素絕大部分都不是直接可以拿到的數(shù)據(jù)，需要根據(jù)每個(gè)因素的關(guān)聯(lián)數(shù)據(jù)進(jìn)行分析才能得出。那么，在全球的環(huán)境下，要進(jìn)行這些數(shù)據(jù)的收集、分析、預(yù)測(cè)只能使用大數(shù)據(jù)系統(tǒng)來(lái)進(jìn)行。從技術(shù)的角度來(lái)看這個(gè)供應(yīng)鏈大數(shù)據(jù)系統(tǒng)，需要由互聯(lián)網(wǎng)爬蟲(chóng)系統(tǒng)、流數(shù)據(jù)處理系統(tǒng)、數(shù)據(jù)可視化系統(tǒng)四個(gè)主要的核心系統(tǒng)來(lái)構(gòu)成?；ヂ?lián)網(wǎng)爬蟲(chóng)系統(tǒng)現(xiàn)在有非常多開(kāi)源項(xiàng)目可以采用，比較建議的有Nutch、Grub Next Generation等;流數(shù)據(jù)處理系統(tǒng)除了目前關(guān)注度比較高的Spark還可以考慮Storm和Samza;數(shù)據(jù)可視化系統(tǒng)可以考慮選擇Cube、Fusion Charts Suit XT等，在基礎(chǔ)支撐系統(tǒng)層面可以采用Hadoop的架構(gòu)體系，也可以采用一些其他的調(diào)度系統(tǒng)如Mesos等。