通過我們在軟件層面的調(diào)優(yōu),既滿足硬件更好的大數(shù)據(jù)平臺的基礎上,提供一些軟件的性能調(diào)優(yōu),包括存儲分布的算法上,在任務調(diào)度算法的優(yōu)化,提高整個大數(shù)據(jù)平臺整體的性能。 資源管理方面也是通過我們一體化的資源管理,監(jiān)控整個大數(shù)據(jù)平臺的運行狀態(tài)。
成功案例:
濟南公安的例子:濟南公安在傳統(tǒng)行業(yè)里面,公安行業(yè)是積累數(shù)據(jù)量非常大的。我們這一期給濟南公安提供了2點多P的空間,因為存儲和處理技術的限制,很多東西可能放了一段時間就扔掉了,因為沒法放,再一個存了那么大的量處理起來很麻煩。他們通過我們新式的大數(shù)據(jù)平臺來解決以前數(shù)據(jù)孤立整合等問題。
另一個案例分享:視頻最后也講到了除了公安以外我們在很多其他行業(yè)金融電信等等都有很多大數(shù)據(jù)的應用,我相信大家講的比較多的也是這樣的行業(yè)。
還有一個案例就是中國資源衛(wèi)星中心,我個人理解他們是高性能計算的用戶,高性能計算有一類計算就是數(shù)據(jù)處理計算,它對數(shù)據(jù)處理技術的要求是非常高的。在這前面它的很多處理方式都是傳統(tǒng)的,計算結(jié)點和存儲分開,需要很大規(guī)模的存儲存東西,對存儲進行反復的存取,拉到計算結(jié)點進行計算。在新的數(shù)據(jù)處理的模式下,老的處理模式隨著衛(wèi)星不斷的增加,數(shù)據(jù)量膨脹非??欤虼颂幚砺呀?jīng)跟不上整個數(shù)據(jù)的增長,也需要有一個新的架構來滿足它的需要。
第二個層面他們需要將數(shù)據(jù)開放出來給大家用,因此對于云計算服務的要求也是非常高的。