2. 對(duì)象:PB級(jí)的數(shù)據(jù),例如來自云、來自分布式文件系統(tǒng)的文檔。
3. 并行處理,多個(gè)(幾百—幾十萬個(gè),甚至更多)處理單元(電腦,CPU,人員);
4 有序:在機(jī)場(chǎng),車站,當(dāng)客戶增加,僅僅增加服務(wù)臺(tái)來做歸約(Reduce),常常不夠有序,增加一個(gè)映射(Map)機(jī)制,把被處理對(duì)象分配到處理單元,是不可少的環(huán)節(jié)。春運(yùn)中人們更體會(huì)到這一條。
5 多層映射,多層歸約 ;在首都機(jī)場(chǎng)我們看到了映射有三層,第一次映射到值機(jī)臺(tái)分區(qū),分而治之;第二次次到值機(jī)臺(tái),第三次映射到《乘客,航班號(hào),座號(hào)》三元組;根據(jù)實(shí)際情況,歸約也可以是多層次的。
這里也要強(qiáng)調(diào),小樣和真實(shí)還有差距,量變超過了一定閾值,會(huì)引發(fā)質(zhì)變,這一點(diǎn)在實(shí)踐中必須注意。
還有兩個(gè)例子,根據(jù)經(jīng)驗(yàn),做為練習(xí)題效果更好,
習(xí)題1 大型會(huì)議接送VIP客人 。
大型會(huì)議中VIP客人(特邀報(bào)告人, 著名學(xué)者等)較多。接送小組把航班火車信息收集工作落實(shí)到人,一人包幾位VIP,然后把接送任務(wù)分發(fā)給接送車輛司機(jī),請(qǐng)畫出映射-歸約圖。
提示:對(duì)比登記牌例子,接送小組相當(dāng)于中的值機(jī)臺(tái),而接送車輛相當(dāng)于航班。
習(xí)題2 大型會(huì)議報(bào)告分會(huì)安排 。
大型會(huì)議有眾多論文,按內(nèi)容分類,需要在不同時(shí)間地點(diǎn)的不同分會(huì)報(bào)告,請(qǐng)畫出映射-歸約圖。
提示 提示:對(duì)比登記牌例子,內(nèi)容類別相當(dāng)于值機(jī)臺(tái),分會(huì)相當(dāng)于航班。