成果
在簡化的方案下,文章開頭提到的基于Hadoop 的M/R 管道可以通過Apache Spark進行如下優(yōu)化:
本章結語
正如上文提到的 Lambda架構有優(yōu)點和缺點,所以結果就是有支持者和反對者。一些人會說批處理視圖和實時視圖有很多重復的邏輯,因為最終他們需要從查詢的角度創(chuàng)建出可以合并的視圖。因此,他們創(chuàng)建了Kappa架構——一個Lambda架構的簡化方案。Kappa 架構的系統(tǒng)去掉了批處理系統(tǒng),取而代之的是數(shù)據(jù)從流處理系統(tǒng)中快速通過:
即便在此場景中,Spark也能發(fā)揮作用,比如,參與流處理系統(tǒng):