1.分布式系統(tǒng)的難題
張大胖遇到了一個難題。
他們公司的有個服務(wù)器,上面保存著寶貴的數(shù)據(jù),領(lǐng)導Bill 為了防止它掛掉, 要求張大胖想想辦法把數(shù)據(jù)做備份。
張大胖發(fā)揮了抽象的能力,在腦海里浮出了這么一個畫面, 這個唯一的機器可以成為一個節(jié)點:
為了提高可用性,可以增加幾臺機器,通過局域網(wǎng)連接起來,形成一個了分布式的系統(tǒng):
數(shù)據(jù)在每個節(jié)點上都存放一份不就可以高枕無憂了?
可張大胖很快發(fā)現(xiàn)這不是一件容易的事情,比如每個節(jié)點都保存著一個賬戶的余額100元,現(xiàn)在有人通過節(jié)點A向該賬戶增加了20元, 還有人通過節(jié)點B向該賬戶減去了30元。
現(xiàn)在余額到底是多少呢?
為了保持一致性, 節(jié)點A得把"余額加上20"這樣的消息發(fā)給B, C , 節(jié)點B得把“余額減去30”這樣的消息發(fā)送到A, C, 如果網(wǎng)絡(luò)出了問題,消息沒有發(fā)送到別的節(jié)點, 或者某個節(jié)點干脆壞掉了,那數(shù)據(jù)極有可能出現(xiàn)不一致。
如果用戶在這個不一致的系統(tǒng)上繼續(xù)操作,很快就會陷入混亂。
2.誰來當老大?
張大胖想了半天,覺得不能這么無序地操作,得給這三個節(jié)點找個“老大”。
所有的操作都通過“老大”來進行,然后讓老大把消息發(fā)給各個“小弟”。
可是誰來當老大呢? 還有,這個老大如果掛掉了怎么辦?
可以手工地調(diào)整, 例如節(jié)點A掛掉了, 就手工地讓節(jié)點B當“老大” , 讓節(jié)點C當“小弟”。
但是這就有點麻煩了,能不能自動化地來實現(xiàn)?
這個問題很有意思, 張大胖入了迷,繼續(xù)深入思考: 建立一個競選的機制, 就讓他們競爭上崗吧。
初始情況下,每個節(jié)點都是候選人, 都可以向其他節(jié)點發(fā)起投票邀請,讓大家投自己,如果獲得的投票數(shù)過半,就可以當“老大”了。
為了避免大家同時發(fā)起投票邀請,可以給每個節(jié)點都分配一個隨機的“選舉超時時間”(election timeout),通俗來講就是一個等待時間,在這段時間內(nèi),一個節(jié)點必須耐心等待,過了這段時間,才可以競爭上崗,爭當老大。
每個節(jié)點都有一個計時器,從0開始計時,誰的等待時間到了, 就率先發(fā)起競選,給其他節(jié)點打電話,要求他們投票讓自己成為老大。
比如節(jié)點A等待170ms , 節(jié)點B等待200ms , 節(jié)點C等待250ms 。
由于節(jié)點A的等待時間最短, 會捷足先登, 它先增加自己的任期(Term),這是一個整數(shù),初始值為0 , 然后給自己投了一票,然后打電話給節(jié)點B和節(jié)點C,要求他們都投它。
節(jié)點B和節(jié)點C收到了投票要求,如果自己還沒有發(fā)起競選投票(等待時間未到),那只好同意節(jié)點A當老大,與此同時要重置自己的計時器,重新從0開始計時,也就是說重新開始新一輪的等待。
節(jié)點A得知其他兩個節(jié)點同意了,投票計數(shù)變?yōu)?,已經(jīng)過了半數(shù), 就明白自己可以當老大了。
節(jié)點A成為老大后,開始向節(jié)點B和節(jié)點C定時發(fā)送消息,B,C收到消息后也要回應,維持心跳。
B和C每次收到心跳消息,都得重置自己的計時器, 重新從0開始計數(shù)。
此時節(jié)點B和節(jié)點C就成了“小弟”。
如果節(jié)點A 不幸掛掉,節(jié)點B和節(jié)點C在自己的等待時間內(nèi)收不到心跳消息,他們兩個就會重新競爭上崗。