中國IDC圈1月8日報道，1月5-7日，第十屆中國IDC產(chǎn)業(yè)年度大典（IDCC2015）在北京國家會議中心隆重召開。本次大會由中國信息通信研究院、云計算發(fā)展與政策論壇、數(shù)據(jù)中心聯(lián)盟指導(dǎo)，中國IDC產(chǎn)業(yè)年度大典組委會主辦，中國IDC圈承辦，并受到諸多媒體的大力支持。
中國IDC產(chǎn)業(yè)年度大典作為國內(nèi)云計算和數(shù)據(jù)中心領(lǐng)域規(guī)模最大、最具影響力的標(biāo)志性盛會，之前已成功舉辦過九屆，在本屆大會無論是規(guī)格還是規(guī)模都"更上一層樓"，引來現(xiàn)場人員爆滿，影響力全面覆蓋數(shù)據(jù)中心、互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等多個領(lǐng)域。
日志易首席執(zhí)行官陳軍出席IDCC2015大會并在大數(shù)據(jù)應(yīng)用與安全技術(shù)論壇發(fā)表主題為《IT運維分析與海量日志搜索》的精彩演講。
日志易首席執(zhí)行官陳軍
以下為陳軍演講實錄：
陳軍：我今天講的是IT運維分析與海量日志分析，今天是IDC大會，很多數(shù)據(jù)需要分析，IT設(shè)備需要做運維。我分這幾部分講，什么叫IT運維分析，IT運維是個比較新的東西，日志的應(yīng)用場景、過去及現(xiàn)在的做法、日志搜索引擎、日志易的產(chǎn)品。
過去做IT運維都講IT運維管理，IT運維管理做了很多年了，也非常成熟，隨著前幾年大數(shù)據(jù)技術(shù)的興起，大家開始把大數(shù)據(jù)技術(shù)應(yīng)用到IT運維上面做分析，就產(chǎn)生了IT運維分析，把大數(shù)據(jù)技術(shù)用在IT運維分析上的目的是提高數(shù)據(jù)質(zhì)量和效率。可用性監(jiān)控、應(yīng)用型能監(jiān)控、故障根源分析、安全審計。權(quán)威的調(diào)查機(jī)構(gòu)Gartner估計，到2017年15%的大企業(yè)會積極使用ITOA，2014年這個數(shù)字只有5%，不管5%還是15%，是比較低的比例，ITOA是新出現(xiàn)的東西，正在被市場逐步接受。
ITOA把大數(shù)據(jù)的技術(shù)用在運維數(shù)據(jù)的分析上，數(shù)據(jù)的來源就非常重要，ITOA的數(shù)據(jù)來源主要是四方面：
第一是機(jī)器數(shù)據(jù)，服務(wù)器、網(wǎng)絡(luò)設(shè)備產(chǎn)生的數(shù)據(jù)，其實就是日志。
第二是通信數(shù)據(jù)，現(xiàn)在網(wǎng)絡(luò)已經(jīng)非常普遍了，后臺的設(shè)備很多都是大型的分布式系統(tǒng)，都有網(wǎng)絡(luò)的通信，網(wǎng)絡(luò)通信過去通過網(wǎng)絡(luò)抓包，通過流量分析應(yīng)用的情況。網(wǎng)絡(luò)抓包、流量分析的這類數(shù)據(jù)又是Wire Data。
第三是代碼級別進(jìn)行統(tǒng)計分析的，像PHP、JAVA這些字節(jié)碼來插入統(tǒng)計分析的代碼，統(tǒng)計它的函數(shù)調(diào)用情況、堆站的使用情況，從代碼級別來進(jìn)行統(tǒng)計分析，更加精細(xì)化的統(tǒng)計化分析，這是代理數(shù)據(jù)。
第四是探針數(shù)據(jù)，國內(nèi)已經(jīng)有些公司在做這個事情，全國的用戶訪問IDC的延時是多少，得在全國布點，發(fā)起模擬用戶的請求探測，進(jìn)行端到端延時的度量。美國有一家做ITOA的公司，他們做了一個用戶調(diào)查，四種數(shù)據(jù)來源使用情況，日志的使用比例非常高，占86%，網(wǎng)絡(luò)抓包占93%，插入代碼代理數(shù)據(jù)是47%，探針數(shù)據(jù)是72%。日志跟網(wǎng)絡(luò)抓包占的比例非常高，占到了百分之八九十，插入代碼占不到50%，探針大概是70%。
日志無所不在，所有服務(wù)器、網(wǎng)絡(luò)設(shè)備、應(yīng)用系統(tǒng)都會產(chǎn)生日志，但是日志的覆蓋面非常廣，日志也有它的特點，不同的應(yīng)用輸出的日志完整性跟可用性不同，因為輸出太多日志會降低應(yīng)用的性能，會關(guān)閉一些級別低的日志，只輸出級別最高的。輸出的日志有多少，數(shù)據(jù)的完整性有差別。通信數(shù)據(jù)，網(wǎng)絡(luò)抓包，從網(wǎng)絡(luò)流量統(tǒng)計的信息也是非常全面的，但是它也有它的局限性，有一些事件未必觸發(fā)網(wǎng)絡(luò)通信，如果沒有觸發(fā)網(wǎng)絡(luò)通信的話就不會產(chǎn)生網(wǎng)絡(luò)流量，就沒辦法抓這些包進(jìn)行統(tǒng)計。
探針數(shù)據(jù)，是模擬用戶請求，好處是端到端監(jiān)控，可以從手機(jī)訪問到服務(wù)器端到端的延時，但它的問題不是真實的用戶度量，前幾年已經(jīng)開始講一個概念，真實的用戶度量，我們希望度量到用戶真正的延時情況，而不是模擬的。移動應(yīng)用廠商像騰訊、百度他們已經(jīng)有數(shù)以億計的終端用戶，他們可以直接在他們的手機(jī)應(yīng)用端做真實的用戶度量，可以看到真實用戶的訪問情況。2008年汶川地震的時候騰訊QQ客戶端實時監(jiān)測到汶川地區(qū)用戶QQ掉線，馬上知道那里發(fā)生了事故，要么是IDC事故，要么是網(wǎng)絡(luò)的事故，所以可以做真實的網(wǎng)絡(luò)度量。
日志學(xué)術(shù)性的說法是時間序列機(jī)器數(shù)據(jù)，為什么叫做時間序列機(jī)器數(shù)據(jù)？因為它是帶時間戳的機(jī)器數(shù)據(jù)，它是機(jī)器產(chǎn)生的，網(wǎng)絡(luò)設(shè)備、服務(wù)器產(chǎn)生的。第二它是帶時間戳的，日志包含了IT系統(tǒng)非常多的信息，服務(wù)器、網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用軟件，甚至包括用戶的信息、業(yè)務(wù)的信息。日志反映了事實數(shù)據(jù)，美國有個很出名的公司叫影音（音），做職業(yè)社交，他的一名工程師寫了一篇非常出名的文章，每一個軟件工程師都應(yīng)該知道實時數(shù)據(jù)統(tǒng)一的抽象的信息，也有中譯版，深度解析Linkedin大數(shù)據(jù)平臺，所有對日志感興趣的工程師可以好好看下這篇文章，這篇文章講的就是日志是一個企業(yè)里最真實的數(shù)據(jù)，不管是數(shù)據(jù)中心還是企業(yè)里發(fā)生的一切日志都會記錄下來，通過統(tǒng)計分析這個日志，不同系統(tǒng)之間的通信也可以通過日志來傳輸這個信息。大數(shù)據(jù)領(lǐng)域有比較開源的軟件Kafuka，當(dāng)年發(fā)明Kafuka的目的就是用來傳輸日志，Kafuka也是做日志處理里用的最普遍的消息隊列軟件。