微軟最近宣布公司正在開發(fā)適用于Windows Server與Windows Azure的Apache Hadoop框架。
Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu),由Apache基金會開發(fā)。用戶可以在不了解分布式底層細節(jié)的情況下,開發(fā)分布式程序。充分利用集群的威力高速運算和存儲。簡單地來說,Hadoop是一個可以更容易開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺。它受到最先由 Google Lab 開發(fā)的 MapReduce 和 Google File System 的啟發(fā)。2006 年 3 月份,MapReduce 和 Nutch Distributed File System (NDFS) 分別被納入稱為 Hadoop 的項目中。
Hadoop的核心之一是MapReduce,它是Google的并行計算引擎與環(huán)境,常用于傳感器、社交(例如Facebook)、GPS定位為中心的流數(shù)據(jù)處理。“大數(shù)據(jù)”對今天企業(yè)的價值還體現(xiàn)在另外一方面。大型機構(gòu)面臨著維護海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
微軟發(fā)布的Hadoop版本對于開源項目而言是一次偉大的貢獻。微軟宣布將從鼻祖雅虎分拆出來的Hortonworks合作開發(fā),在Apache Hadoop上實現(xiàn)搭建Windows Server以及Windows Azure平臺。作為微軟的戰(zhàn)略合作伙伴,Hortonworks擁有大象之名(“Hadoop”是根據(jù)發(fā)明人兒子玩具大象的名字而命名),將會借助專長將Hadoop集成到微軟的產(chǎn)品之中。