隨著大數(shù)據(jù)工具和服務的發(fā)展，2015年，IT行業(yè)將逐漸緩解發(fā)展瓶頸的局面，許多商業(yè)用戶和數(shù)據(jù)科學家將會借助相關工具和服務訪問大量數(shù)據(jù)。自助服務大數(shù)據(jù)將成為IT行業(yè)的一種趨勢，它允許商業(yè)用戶可以通過自助服務接觸大數(shù)據(jù)。自助服務還可以幫助開發(fā)者、數(shù)據(jù)科學家和數(shù)據(jù)分析師直接進行數(shù)據(jù)探索和處理工作。當我們了解大數(shù)據(jù)的時候，業(yè)務的價值和IT的成本是我們主要衡量未來IT的標準，業(yè)務價值驅動大數(shù)據(jù)創(chuàng)新。Hadoop不再成為我們討論的大數(shù)據(jù)主題。我們需要了解更多的是業(yè)務創(chuàng)新，數(shù)據(jù)變現(xiàn)和業(yè)務場景的探索。
下一代的大數(shù)據(jù)體系——數(shù)據(jù)湖
每個數(shù)據(jù)項都應有清楚的追蹤，可追溯其源系統(tǒng)以及該數(shù)據(jù)項產(chǎn)生的時間等信息。2010年JamesDixon以此理念，創(chuàng)造了數(shù)據(jù)湖（dataLake）這個術語，當時他打算將數(shù)據(jù)湖泊作為單一數(shù)據(jù)源來使用，而多數(shù)據(jù)源將形成“水景園”。盡管還是最初的構想，如今最普遍的應用是將數(shù)據(jù)湖泊當做許多數(shù)據(jù)源的結合?，F(xiàn)有數(shù)據(jù)倉庫在分析能力的缺失，業(yè)務對數(shù)據(jù)獲取能力的提升，高級分析方法的創(chuàng)新是一種必然。
數(shù)據(jù)湖泊是近十年出現(xiàn)的術語，用來描述數(shù)據(jù)世界中，數(shù)據(jù)分析管道的重要組成部分。作為一個信息系統(tǒng)，數(shù)據(jù)湖泊是大型的基于對象的存儲庫，數(shù)據(jù)以其原始格式存儲。通過全面的監(jiān)控和分析，通過數(shù)據(jù)的分析模型的建立，學習，模擬，行動，最終實現(xiàn)內(nèi)容認知的智能。有并行體系以及無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作的明顯特點。
特點1：數(shù)據(jù)湖泊是一個并行體系，能夠存儲大數(shù)據(jù)
數(shù)據(jù)湖泊的每個數(shù)據(jù)元素都有獨特的標識符，并有一組擴展的元數(shù)據(jù)標簽。
數(shù)據(jù)湖泊以數(shù)據(jù)源提供數(shù)據(jù)時的原格式（不論原格式是什么）存儲原始數(shù)據(jù)。沒有預設的數(shù)據(jù)模式，每個數(shù)據(jù)源都可以使用任何模式。由消費者根據(jù)自己的目的來理解數(shù)據(jù)。
特點2：數(shù)據(jù)湖體系無需移動數(shù)據(jù)即可對數(shù)據(jù)進行計算操作
通常數(shù)據(jù)倉庫一方面要清理，一方面還要聚合數(shù)據(jù)，從而使分析更加容易。但科學家往往也反對這點，因為聚合意味著丟棄數(shù)據(jù)。你不知道今天或者幾年以后哪些數(shù)據(jù)會有價值，所以數(shù)據(jù)湖泊應包含所有數(shù)據(jù)。數(shù)據(jù)湖泊使用平坦架構存儲數(shù)據(jù)。這個理念是建立一個單一存儲區(qū)，用來存儲組織內(nèi)任何人員可能需要分析的所有原始數(shù)據(jù)。通常人們使用Hadoop對湖泊內(nèi)的數(shù)據(jù)進行各種操作，但這個概念比Hadoop要寬泛的多。
總結
大數(shù)據(jù)技術自身在快速的發(fā)展，從1.0到大數(shù)據(jù)3.0的數(shù)據(jù)湖時代，我們要理性的看待大數(shù)據(jù)，在關注數(shù)據(jù)量的同時，應該更加重視數(shù)據(jù)分析的能力和方法。筆者認為，實用分析工具與先進分析理念，真正釋放數(shù)字化分析的力量，由人類軌跡產(chǎn)生的數(shù)據(jù)，與機器自動產(chǎn)生的數(shù)據(jù)得出洞見，從管理決策推導運營方案，最終實現(xiàn)數(shù)據(jù)價值提升。
業(yè)界有很多大數(shù)據(jù)的技術公司提供不同的技術，其中也包含了一大堆的開源軟件開發(fā)出來的。大數(shù)據(jù)的成長路徑一定是個長期成長過程。在不同的階段，來打造不同的IT能力，我們倡導的是開放式大數(shù)據(jù)架構。不僅僅為大的數(shù)據(jù)集服務，同時企業(yè)中業(yè)務人員有很多小數(shù)據(jù)集的分析和探索。在很好滿足業(yè)務的不同需求下，大數(shù)據(jù)一定是一種混搭技術，利用現(xiàn)有的IT投資來達到整個回報的最大化。特別在中國智能制造2025的變革中，數(shù)據(jù)湖不會是數(shù)據(jù)倉庫和BI平臺的終結者，但數(shù)據(jù)湖一定是未來企業(yè)數(shù)據(jù)技術（DT）的核心紐帶，成為引導中國制造2025變革的數(shù)字寵兒。