下一代的大數(shù)據(jù)體系——數(shù)據(jù)湖：
每個數(shù)據(jù)項都應(yīng)有清楚的追蹤，可追溯其源系統(tǒng)以及該數(shù)據(jù)項產(chǎn)生的時間等信息。2010年 JamesDixon以此理念，創(chuàng)造了數(shù)據(jù)湖(data Lake)這個術(shù)語，當(dāng)時他打算將數(shù)據(jù)湖泊作為單一數(shù)據(jù)源來使用，而多數(shù)據(jù)源將形成“水景園”。盡管還是最初的構(gòu)想，如今最普遍的應(yīng)用是將數(shù)據(jù)湖泊當(dāng)做許多數(shù)據(jù)源的結(jié)合?，F(xiàn)有數(shù)據(jù)倉庫在分析能力的缺失，業(yè)務(wù)對數(shù)據(jù)獲取能力的提升，高級分析方法的創(chuàng)新是一種必然。
數(shù)據(jù)湖泊是近十年出現(xiàn)的術(shù)語，用來描述數(shù)據(jù)世界中，數(shù)據(jù)分析管道的重要組成部分。作為一個信息系統(tǒng)，數(shù)據(jù)湖泊是大型的基于對象的存儲庫，數(shù)據(jù)以其原始格式存儲。通過全面的監(jiān)控和分析，通過數(shù)據(jù)的分析模型的建立，學(xué)習(xí)，模擬，行動，最終實現(xiàn)內(nèi)容認知的智能。 有并行體系以及無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作的明顯特點。
特點 1 -數(shù)據(jù)湖泊是一個并行體系，能夠存儲大數(shù)據(jù)
數(shù)據(jù)湖泊的每個數(shù)據(jù)元素都有獨特的標(biāo)識符，并有一組擴展的元數(shù)據(jù)標(biāo)簽。
數(shù)據(jù)湖泊以數(shù)據(jù)源提供數(shù)據(jù)時的原格式(不論原格式是什么)存儲原始數(shù)據(jù)。沒有預(yù)設(shè)的數(shù)據(jù)模式，每個數(shù)據(jù)源都可以使用任何模式。由消費者根據(jù)自己的目的來理解數(shù)據(jù)。
特點 2 -數(shù)據(jù)湖體系無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作
通常數(shù)據(jù)倉庫一方面要清理，一方面還要聚合數(shù)據(jù)，從而使分析更加容易。但科學(xué)家往往也反對這點，因為聚合意味著丟棄數(shù)據(jù)。你不知道今天或者幾年以后哪些數(shù)據(jù)會有價值，所以數(shù)據(jù)湖泊應(yīng)包含所有數(shù)據(jù)。數(shù)據(jù)湖泊使用平坦架構(gòu)存儲數(shù)據(jù)。這個理念是建立一個單一存儲區(qū)，用來存儲組織內(nèi)任何人員可能需要分析的所有原始數(shù)據(jù)。通常人們使用Hadoop對湖泊內(nèi)的數(shù)據(jù)進行各種操作，但這個概念比Hadoop要寬泛的多。
總結(jié)：
大數(shù)據(jù)技術(shù)自身在快速的發(fā)展，從1.0到大數(shù)據(jù)3.0的數(shù)據(jù)湖時代,我們要理性的看待大數(shù)據(jù)，在關(guān)注數(shù)據(jù)量的同時，應(yīng)該更加重視數(shù)據(jù)分析的能力和方法。筆者認為，實用分析工具與先進分析理念，真正釋放數(shù)字化分析的力量，由人類軌跡產(chǎn)生的數(shù)據(jù)，與機器自動產(chǎn)生的數(shù)據(jù)得出洞見，從管理決策推導(dǎo)運營方案，最終實現(xiàn)數(shù)據(jù)價值提升。
業(yè)界有很多大數(shù)據(jù)的技術(shù)公司提供不同的技術(shù)，其中也包含了一大堆的開源軟件開發(fā)出來的。大數(shù)據(jù)的成長路徑一定是個長期成長過程。在不同的階段，來打造不同的IT能力，我們倡導(dǎo)的是開放式大數(shù)據(jù)架構(gòu)。不僅僅為大的數(shù)據(jù)集服務(wù)，同時企業(yè)中業(yè)務(wù)人員有很多小數(shù)據(jù)集的分析和探索。在很好滿足業(yè)務(wù)的不同需求下，大數(shù)據(jù)一定是一種混搭技術(shù)，利用現(xiàn)有的IT投資來達到整個回報的最大化。特別在中國智能制造2025的變革中，數(shù)據(jù)湖不會是數(shù)據(jù)倉庫和BI平臺的終結(jié)者，但數(shù)據(jù)湖一定是未來企業(yè)數(shù)據(jù)技術(shù)(DT)的核心紐帶，成為引導(dǎo)中國制造2025變革的數(shù)字寵兒。