思維模式的轉(zhuǎn)變
最后的挑戰(zhàn)嚴(yán)格來說并不是技術(shù)上的。在選擇技術(shù)以應(yīng)對不同的場景時(shí)，組織生態(tài)扮演著核心角色。在很多組織中，團(tuán)隊(duì)挑選那些在行業(yè)流行的模板化解決方案，并逐步習(xí)慣以特定的方式來使用這些系統(tǒng)。例如，典型的數(shù)據(jù)倉庫的延遲需求是以小時(shí)計(jì)的。因此，即使底層技術(shù)可以在更低的延遲下解決不少問題，但是還是需要花費(fèi)大量的功夫去實(shí)現(xiàn)數(shù)據(jù)倉庫系統(tǒng)的最小化停機(jī)時(shí)間或者避免在維護(hù)過程中服務(wù)中斷。如果你是在建立滿足更低延遲的服務(wù)水平協(xié)議的系統(tǒng)，這些運(yùn)維特點(diǎn)是很重要的。另一方面，能解決低延遲問題的團(tuán)隊(duì)也非常擅長運(yùn)維那些有嚴(yán)格服務(wù)水平協(xié)議要求的系統(tǒng)，這就導(dǎo)致組織機(jī)構(gòu)最后總是會為批處理和流式處理分別創(chuàng)建數(shù)據(jù)貯藏庫。這就阻礙了在諸如Hadoop的系統(tǒng)上實(shí)現(xiàn)增量處理，從而無法獲得上述的好處。
這絕不是要嘗試來泛化組織生態(tài)的挑戰(zhàn)。作為一個經(jīng)歷了推動領(lǐng)英的在線服務(wù)，以及推動了優(yōu)步數(shù)據(jù)生態(tài)系統(tǒng)的人，這些僅僅是我自己的觀察。
可帶走的經(jīng)驗(yàn)
我想要留給你以下可帶走的經(jīng)驗(yàn)教訓(xùn)：
1.對實(shí)際延遲需求有清晰的定義可以幫你節(jié)省很多錢。
2.