以磁盤為例我們使用FIO工具進(jìn)行壓測,并對(duì)數(shù)據(jù)繪圖展示:
場景1:raid0模式下
圖 8 raid0模式壓測結(jié)果
場景2:no-raid模式
圖 9 直通模式壓測結(jié)果
場景3:raid0模式下 升級(jí)firmware
圖 10 升級(jí)固件壓測結(jié)果
延遲情況
圖 11 寫延遲結(jié)果
2.5 推進(jìn)標(biāo)準(zhǔn)化建設(shè)
在自動(dòng)裝機(jī)系統(tǒng)推進(jìn)過程中,我們也推動(dòng)了一些標(biāo)準(zhǔn)化建設(shè),主要是網(wǎng)絡(luò)和運(yùn)維方面的標(biāo)準(zhǔn)化。網(wǎng)絡(luò)方面主要是IDC網(wǎng)段的分布要提前規(guī)劃好,交換機(jī)的分配、設(shè)置,網(wǎng)線的分配要標(biāo)準(zhǔn)化。運(yùn)維方面標(biāo)準(zhǔn)化包括機(jī)柜的劃分(我們分為大數(shù)據(jù)、DB、計(jì)算三種類型機(jī)器),機(jī)型配置的標(biāo)準(zhǔn)、raid的標(biāo)準(zhǔn)、bond的標(biāo)準(zhǔn)都做了規(guī)范。在這樣清晰的劃分下,裝機(jī)上架自動(dòng)化變不再是困難的事情。
圖 12 裝機(jī)標(biāo)準(zhǔn)化
3. 負(fù)載均衡管理系統(tǒng)
3.1 技術(shù)方案
1.4層使用LVS,7層使用NGINX
2.支持TCP、HTTP、HTTPS協(xié)議,支持證書管理,證書加密存儲(chǔ)
3.LVS、NGINX使用集群模式部署,通過多臺(tái)LVS組成OSPF集群LVS、NGINX做成標(biāo)準(zhǔn)鏡像,可快速水平擴(kuò)展
4.自研管理平臺(tái),實(shí)現(xiàn)LVS和NGINX的配置平臺(tái)管理
配置入庫并實(shí)時(shí)生效,保證LB集群配置一致性和高可用與發(fā)布系統(tǒng)聯(lián)動(dòng),實(shí)現(xiàn)灰度發(fā)布與CMDB系統(tǒng)聯(lián)動(dòng),通過機(jī)器狀態(tài)改變自動(dòng)從real-sever集群添加、摘除,實(shí)現(xiàn)應(yīng)用一鍵上線、下線
圖 13 負(fù)載均衡結(jié)構(gòu)
3.2 推廣,現(xiàn)有負(fù)載均衡規(guī)則遷移到系統(tǒng)
Lvs、Nginx轉(zhuǎn)發(fā)規(guī)則從手工寫的配置文件遷移到系統(tǒng)中是一件非常繁雜且量大的工作,而且最重要的是做好測試驗(yàn)證,讓用戶無感知。如果要完成這個(gè)工作,需要運(yùn)維、配管人員、測試人員以及部分開發(fā)一同協(xié)作才能完成。如果沒有很好的理由是很難調(diào)動(dòng)其他部門積極配合你的,對(duì)此我們借助灰度發(fā)布的項(xiàng)目順利的實(shí)施了這項(xiàng)工作?;叶劝l(fā)布項(xiàng)目是為了讓發(fā)布能夠白天發(fā)而不影響業(yè)務(wù),以減少整個(gè)CTO部門人員的加班為目標(biāo)設(shè)立的,對(duì)每個(gè)團(tuán)隊(duì)都是有利的,當(dāng)然別人也會(huì)鼎力支持了。最后我們分四次在夜晚加班完成了整個(gè)遷移工作,做到了無縫遷移。
3.3 灰度發(fā)布
負(fù)載均衡最好的應(yīng)用場景在灰度發(fā)布中,聯(lián)動(dòng)CMDB、部署系統(tǒng)一起實(shí)現(xiàn)灰度發(fā)布。
主要有以下特點(diǎn):
1.支持90%應(yīng)用隨時(shí)發(fā)布,支持Http和dubbo服務(wù),不影響業(yè)務(wù),解放生產(chǎn)力
2.與slb、CMDB系統(tǒng)聯(lián)動(dòng),從CMDB獲取機(jī)器,通過slb操作負(fù)載均衡
3.基于流量灰度發(fā)布,可以設(shè)置發(fā)布頻率(每次發(fā)布機(jī)器數(shù)量),發(fā)布流程:每次發(fā)布前自動(dòng)擴(kuò)容相應(yīng)機(jī)器,部署應(yīng)用后調(diào)用slb切換流量,依次類推直到應(yīng)用機(jī)器都發(fā)完。
圖 14 灰度發(fā)布流程
4. 運(yùn)維未來發(fā)展方向的思考
4.1 成本中心向利潤中心轉(zhuǎn)變
對(duì)于大型的集團(tuán)來說,特別是比較傳統(tǒng)的企業(yè)來說,受之前的IT技術(shù)能力限制往往是各個(gè)子公司建立一套IT系統(tǒng),容易產(chǎn)生資源孤島。對(duì)此的策略是集中技術(shù),集中資源建立統(tǒng)一的資源池。除了對(duì)內(nèi)采取降低成本的手段外,還需要對(duì)外走出去,將集團(tuán)內(nèi)的技術(shù)能力對(duì)外輸出。
4.2 運(yùn)維是基本功,運(yùn)營是高要求
支持服務(wù)好內(nèi)部客戶,保障IT系統(tǒng)穩(wěn)定運(yùn)行不出故障是基本要求,在這方面各種技術(shù)也是不斷發(fā)展,架構(gòu)部斷演進(jìn),從最初的All In border="0" title="" />