在談?wù)摂?shù)據(jù)庫架構(gòu)和數(shù)據(jù)庫優(yōu)化的時(shí)候，我們經(jīng)常會(huì)聽到“分庫分表”、“分片”、“Sharding”…這樣的關(guān)鍵詞。讓人感到高興的是，這些朋友所服務(wù)的公司業(yè)務(wù)量正在(或者即將面臨)高速增長(zhǎng)，技術(shù)方面也面臨著一些挑戰(zhàn)。讓人感到擔(dān)憂的是，他們系統(tǒng)真的就需要“分庫分表”了嗎?“分庫分表”有那么容易實(shí)踐嗎?為此，筆者整理了分庫分表中可能遇到的一些問題，并結(jié)合以往經(jīng)驗(yàn)介紹了對(duì)應(yīng)的解決思路和建議。
垂直分表
垂直分表在日常開發(fā)和設(shè)計(jì)中比較常見，通俗的說法叫做“大表拆小表”，拆分是基于關(guān)系型數(shù)據(jù)庫中的“列”(字段)進(jìn)行的。通常情況，某個(gè)表中的字段比較多，可以新建立一張“擴(kuò)展表”，將不經(jīng)常使用或者長(zhǎng)度較大的字段拆分出去放到“擴(kuò)展表”中，如下圖所示：
小結(jié)
在字段很多的情況下，拆分開確實(shí)更便于開發(fā)和維護(hù)(筆者曾見過某個(gè)遺留系統(tǒng)中，一個(gè)大表中包含100多列的)。某種意義上也能避免“跨頁”的問題(MySQL、MSSQL底層都是通過“數(shù)據(jù)頁”來存儲(chǔ)的，“跨頁”問題可能會(huì)造成額外的性能開銷，這里不展開，感興趣的朋友可以自行查閱相關(guān)資料進(jìn)行研究)。
拆分字段的操作建議在數(shù)據(jù)庫設(shè)計(jì)階段就做好。如果是在發(fā)展過程中拆分，則需要改寫以前的查詢語句，會(huì)額外帶來一定的成本和風(fēng)險(xiǎn)，建議謹(jǐn)慎。
垂直分庫
垂直分庫在“微服務(wù)”盛行的今天已經(jīng)非常普及了。基本的思路就是按照業(yè)務(wù)模塊來劃分出不同的數(shù)據(jù)庫，而不是像早期一樣將所有的數(shù)據(jù)表都放到同一個(gè)數(shù)據(jù)庫中。如下圖：
小結(jié)
系統(tǒng)層面的“服務(wù)化”拆分操作，能夠解決業(yè)務(wù)系統(tǒng)層面的耦合和性能瓶頸，有利于系統(tǒng)的擴(kuò)展維護(hù)。而數(shù)據(jù)庫層面的拆分，道理也是相通的。與服務(wù)的“治理”和“降級(jí)”機(jī)制類似，我們也能對(duì)不同業(yè)務(wù)類型的數(shù)據(jù)進(jìn)行“分級(jí)”管理、維護(hù)、監(jiān)控、擴(kuò)展等。
眾所周知，數(shù)據(jù)庫往往最容易成為應(yīng)用系統(tǒng)的瓶頸，而數(shù)據(jù)庫本身屬于“有狀態(tài)”的，相對(duì)于Web和應(yīng)用服務(wù)器來講，是比較難實(shí)現(xiàn)“橫向擴(kuò)展”的。數(shù)據(jù)庫的連接資源比較寶貴且單機(jī)處理能力也有限，在高并發(fā)場(chǎng)景下，垂直分庫一定程度上能夠突破IO、連接數(shù)及單機(jī)硬件資源的瓶頸，是大型分布式系統(tǒng)中優(yōu)化數(shù)據(jù)庫架構(gòu)的重要手段。
然后，很多人并沒有從根本上搞清楚為什么要拆分，也沒有掌握拆分的原則和技巧，只是一味的模仿大廠的做法。導(dǎo)致拆分后遇到很多問題(例如：跨庫join，分布式事務(wù)等)。
水平分表
水平分表也稱為橫向分表，比較容易理解，就是將表中不同的數(shù)據(jù)行按照一定規(guī)律分布到不同的數(shù)據(jù)庫表中(這些表保存在同一個(gè)數(shù)據(jù)庫中)，這樣來降低單表數(shù)據(jù)量，優(yōu)化查詢性能。最常見的方式就是通過主鍵或者時(shí)間等字段進(jìn)行Hash和取模后拆分。如下圖所示：
小結(jié)
水平分表，能夠降低單表的數(shù)據(jù)量，一定程度上可以緩解查詢性能瓶頸。但本質(zhì)上這些表還保存在同一個(gè)庫中，所以庫級(jí)別還是會(huì)有IO瓶頸。所以，一般不建議采用這種做法。
水平分庫分表
水平分庫分表與上面講到的水平分表的思想相同，唯一不同的就是將這些拆分出來的表保存在不同的數(shù)據(jù)中。這也是很多大型互聯(lián)網(wǎng)公司所選擇的做法。如下圖：
某種意義上來講，有些系統(tǒng)中使用的“冷熱數(shù)據(jù)分離”(將一些使用較少的歷史數(shù)據(jù)遷移到其他的數(shù)據(jù)庫中。而在業(yè)務(wù)功能上，通常默認(rèn)只提供熱點(diǎn)數(shù)據(jù)的查詢)，也是類似的實(shí)踐。在高并發(fā)和海量數(shù)據(jù)的場(chǎng)景下，分庫分表能夠有效緩解單機(jī)和單庫的性能瓶頸和壓力，突破IO、連接數(shù)、硬件資源的瓶頸。當(dāng)然，投入的硬件成本也會(huì)更高。同時(shí)，這也會(huì)帶來一些復(fù)雜的技術(shù)問題和挑戰(zhàn)(例如：跨分片的復(fù)雜查詢，跨分片事務(wù)等)