大家看到在這個(gè)領(lǐng)域過(guò)去一兩年發(fā)生了革命，從底層虛擬化技術(shù)到上層都在發(fā)生非常大的變化。逐漸引出了數(shù)據(jù)中心操作系統(tǒng)的概念。我們把數(shù)據(jù)中心操作系統(tǒng)分成三層，最底層就跟操作系統(tǒng)內(nèi)核是一樣的，可以方便的創(chuàng)建方便銷(xiāo)毀計(jì)算資源，包括對(duì)CPU/網(wǎng)絡(luò)/內(nèi)存/存儲(chǔ)進(jìn)行處理。同時(shí)我們還需要多個(gè)服務(wù)之間能夠發(fā)現(xiàn)這種機(jī)制，這種機(jī)制是目前還是缺乏的，我們需要在這一層繼續(xù)往上加一些基礎(chǔ)服務(wù)。再往上是平臺(tái)服務(wù)，我們可以創(chuàng)建Hadoop、Spark等我們可以部署這樣傳統(tǒng)應(yīng)用。這種架構(gòu)提出來(lái)我們發(fā)現(xiàn)現(xiàn)在市場(chǎng)上有幾種，兩個(gè)技術(shù)方向，我們不知道哪一種會(huì)獲勝。一個(gè)方向是把YARN作為資源調(diào)度的基礎(chǔ)，Kubernetes作為運(yùn)行在YARN上的某一個(gè)應(yīng)用框架，但實(shí)際上Kubernetes是和YARN并列在同一層的。另外一個(gè)技術(shù)方向是把調(diào)度器抽象出來(lái)作為plugin，例如YARN和mesos都可以作為Kubernetes的調(diào)度器，當(dāng)然也可以實(shí)現(xiàn)自己的調(diào)度程序;使用docker或者coreOS進(jìn)行container的管理，而hadoop等分布式服務(wù)運(yùn)行在Kubernetes之上。對(duì)下能夠提供資源隔離和管理，對(duì)上面能夠提供各種服務(wù)，包括Hadoop生態(tài)系統(tǒng)的各種服務(wù)，這個(gè)可能是明年的主流趨勢(shì)，現(xiàn)在還很難判斷誰(shuí)會(huì)獲勝，但是我更傾向于第二種，我們可以首先嘗試這兩種方案，看哪種方案更有生命力。
總結(jié)一下就是我們把明年的發(fā)展趨勢(shì)歸納成四個(gè)，一個(gè)混合架構(gòu)會(huì)逐漸消失，第二個(gè)我們發(fā)現(xiàn)SSD慢慢替代內(nèi)存作用緩存，因?yàn)樾詢(xún)r(jià)比更高。第三實(shí)時(shí)大數(shù)據(jù)技術(shù)得到廣泛關(guān)注和應(yīng)用，第四云計(jì)算與大數(shù)據(jù)終于可以融合。這里做個(gè)廣告，星環(huán)科技是目前國(guó)內(nèi)極少數(shù)掌握企業(yè)級(jí)大數(shù)據(jù)Hadoop和Spark核心技術(shù)的高科技公司，從事大數(shù)據(jù)時(shí)代核心平臺(tái)數(shù)據(jù)庫(kù)軟件的研發(fā)與服務(wù)。公司產(chǎn)品Transwarp Data Hub (TDH)的整體架構(gòu)及功能特性比肩硅谷同行，產(chǎn)品性能在業(yè)界處于領(lǐng)先水平。在全球去IOE的大背景下，Hadoop已成為公認(rèn)的替代傳統(tǒng)數(shù)據(jù)庫(kù)的技術(shù)。大家可以去外面展臺(tái)看看我們新版本，歡迎有興趣的同學(xué)加入我們公司。