張福波：下面這部分論壇主要是四位嘉賓，講講云實(shí)踐。北京首信集團(tuán)是北京政府下的集成公司，主要負(fù)責(zé)首都之窗的建設(shè)，他們也是在國(guó)內(nèi)，在政府行業(yè)當(dāng)中比較早的一家公司，由于有請(qǐng)首信集團(tuán)技術(shù)支持中心總經(jīng)理張寧來(lái)為我們做報(bào)告。
張寧：大家下午好，剛才介紹了，我是來(lái)自北京首信發(fā)展有限公司，我今天帶來(lái)是我們這些年在云計(jì)算技術(shù)方面實(shí)踐的結(jié)果。
今天主要分三個(gè)部分，我們主要做的是電子政務(wù)領(lǐng)域的應(yīng)用，我們主要是做了北京使的電子政務(wù)云平臺(tái)，首先我會(huì)介紹一下這個(gè)平臺(tái)的規(guī)劃。目前我們做了什么，我們提供什么樣的服務(wù)。
電子政務(wù)云的總體框架，可以按照1+N+16的結(jié)構(gòu)描述，1就是市級(jí)電子政務(wù)云，它實(shí)際上是全市的IT的基礎(chǔ)設(shè)施，里面集合了計(jì)算資源，存儲(chǔ)資源，網(wǎng)絡(luò)資源，通過(guò)虛擬化技術(shù)形成一個(gè)APPS服務(wù)平臺(tái)，由它支撐北京市的各個(gè)應(yīng)用領(lǐng)域的專業(yè)應(yīng)用。在N這一層面向不同應(yīng)用領(lǐng)域提供SaaS的服務(wù)，上面兩層是云的應(yīng)用環(huán)境。經(jīng)過(guò)這個(gè)政務(wù)云建設(shè)形成一些經(jīng)驗(yàn)，包括一些規(guī)范和標(biāo)準(zhǔn)，我們會(huì)直接指導(dǎo)和負(fù)責(zé)區(qū)縣云的建設(shè)，這是北京市對(duì)政務(wù)云框架的考慮。
回到剛才說(shuō)的市級(jí)政務(wù)云，從內(nèi)部看應(yīng)該分兩大部分，也就是政務(wù)互聯(lián)網(wǎng)云和外網(wǎng)云，這個(gè)正好跟網(wǎng)絡(luò)結(jié)構(gòu)是有關(guān)系的，這是分互聯(lián)網(wǎng)和電子政務(wù)網(wǎng)。政務(wù)互連網(wǎng)云這邊主要還是以“首都之窗”作為北京市政府的網(wǎng)站，里面以應(yīng)用為主，都是北京市各委辦局的應(yīng)用。外網(wǎng)主要面向北京市政府公務(wù)員。這兩個(gè)云他們之間會(huì)有一個(gè)隔離區(qū)來(lái)保證這兩個(gè)網(wǎng)絡(luò)之間的數(shù)據(jù)交換和通信問(wèn)題。
除了建設(shè)云的基礎(chǔ)設(shè)施以外，包括整個(gè)APPS的服務(wù)以外，我們還在云平臺(tái)上面配合首都之窗和經(jīng)信委制訂云的管理規(guī)范，現(xiàn)在做了四個(gè)規(guī)范。第一個(gè)政務(wù)云的適用性評(píng)估規(guī)范，這個(gè)主要想說(shuō)明給進(jìn)入云平臺(tái)的應(yīng)用做一個(gè)評(píng)估。我們現(xiàn)在知道政務(wù)應(yīng)用不是所有都適合放在云里面，所以我們對(duì)云的標(biāo)準(zhǔn)做了評(píng)估。相應(yīng)的云平臺(tái)做了整體運(yùn)營(yíng)的服務(wù)規(guī)范和服務(wù)質(zhì)量評(píng)價(jià)都定了一套標(biāo)準(zhǔn)。作為云的基礎(chǔ)設(shè)施平臺(tái)，我們會(huì)有整個(gè)云服務(wù)目錄的提供。
那么今年這一年，整個(gè)云平臺(tái)建設(shè)期，這個(gè)云在總體框架規(guī)范下面，應(yīng)該是五年建設(shè)周期，第一年里面我們主要做了什么呢？主要還是在APPS這個(gè)層面做了一些工作，使用技術(shù)也主要是虛擬化技術(shù)，主要形成了統(tǒng)一云計(jì)算資源的彈性計(jì)算的環(huán)境。通過(guò)一個(gè)統(tǒng)一云計(jì)算資源管理平臺(tái)把這些資源調(diào)動(dòng)起來(lái)，包括存儲(chǔ)資源，同時(shí)為電子政務(wù)云平臺(tái)來(lái)建立一個(gè)相匹配的運(yùn)營(yíng)規(guī)范和運(yùn)營(yíng)隊(duì)伍地
這是目前電子政務(wù)云在互聯(lián)網(wǎng)這一端的平臺(tái)結(jié)構(gòu)，基本上我們?cè)诘讓邮褂镁褪荴86的服務(wù)器，配合存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備，通過(guò)虛擬化技術(shù)把他們形成一個(gè)統(tǒng)一的資源池，通過(guò)云管理平臺(tái)來(lái)進(jìn)行彈性的調(diào)度。在封裝成IaaS以后，我們進(jìn)行了一些分區(qū)，這只是剛開(kāi)始，隨著容量不斷擴(kuò)充，這個(gè)分區(qū)功能也會(huì)不斷的分。另外對(duì)平臺(tái)使用者也提供云服務(wù)門(mén)戶，根據(jù)他自己使用資源的情況，去察看。這樣對(duì)于頂層的支撐，這些都是多租戶形式，是完全隔離開(kāi)的。
這是今年整個(gè)云平臺(tái)建設(shè)的資源情況。其實(shí)今年應(yīng)該可以說(shuō)分兩個(gè)階段，上半年的時(shí)候，四月份整個(gè)平臺(tái)上線運(yùn)行了，當(dāng)時(shí)整個(gè)情況是52臺(tái)設(shè)備，基本上可以承載的虛擬機(jī)數(shù)量在500臺(tái)左右，到今年年底，隨著業(yè)務(wù)兩不斷擴(kuò)充，對(duì)存儲(chǔ)量不斷的消耗，我們也對(duì)他進(jìn)行了擴(kuò)容，現(xiàn)在可以承載虛擬機(jī)的數(shù)量在800臺(tái)左右。
這個(gè)就是現(xiàn)在云平臺(tái)的資源管理，也感謝天云公司給我們大力支持，現(xiàn)在我們整個(gè)虛擬化的計(jì)算資源管理平臺(tái)是基于天云公司來(lái)做的。
平臺(tái)建完以后我們梳理了整個(gè)管理目錄，我們也跟經(jīng)信委領(lǐng)導(dǎo)一起討論怎么分類，大概分四類服務(wù)，存儲(chǔ)服務(wù)，網(wǎng)絡(luò)安全服務(wù)，運(yùn)維，還有巡檢。因?yàn)楝F(xiàn)在目前這個(gè)階段，云平臺(tái)更多體現(xiàn)是IaaS的服務(wù)，我們?cè)谡w框架里面，PaaS這一層是在不斷追加，我們用了常用的政務(wù)服務(wù)作為平臺(tái)上的執(zhí)行應(yīng)用。
我們到十二五結(jié)束還有兩年多時(shí)間，我們會(huì)在這個(gè)平臺(tái)做一些改進(jìn)，這是云環(huán)境。
第一，我們希望引入一些第三方軟件廠商，引入云形式把軟件封裝成服務(wù)提供出來(lái)，這是電子政務(wù)云的生態(tài)。
第二就是引入桌面云服務(wù)，第一可以支撐委辦的呼叫業(yè)務(wù)。
第三，云存儲(chǔ)，其實(shí)我們這一年云平臺(tái)運(yùn)維過(guò)程中，感覺(jué)云存儲(chǔ)消耗還是很大的，所以我們需要在這個(gè)平臺(tái)里能引入一些分布式文件系統(tǒng)，或者一些降低成本的方式，把這個(gè)存儲(chǔ)消耗量降低，同時(shí)也可以反向提升用戶的使用空間。
第四，運(yùn)營(yíng)服務(wù)平臺(tái)，主要體現(xiàn)在規(guī)范落地和落實(shí)，要把在線的服務(wù)受理流程，還有計(jì)量計(jì)費(fèi)功能，與客戶做到在線的實(shí)時(shí)的交流。現(xiàn)在電子政務(wù)服務(wù)受理都是線下的一些合約的簽訂，還沒(méi)有做到線上。
第五，混合云模式，有一些委辦的客戶會(huì)找過(guò)來(lái)，他現(xiàn)在有一些臨時(shí)性的資源，希望通過(guò)我們這個(gè)云平臺(tái)與現(xiàn)有IT架構(gòu)做結(jié)合，這也是我們的方向。
簡(jiǎn)單介紹一下我們首信公司，我們主要就是為承接北京市重大電子政務(wù)項(xiàng)目成立的，我們與智慧城市的概念，我們現(xiàn)在做的軟件服務(wù)，基礎(chǔ)支撐平臺(tái)，都是完全覆蓋了智慧城市的領(lǐng)域。基本上我今天的介紹，關(guān)于北京市電子政務(wù)云方面情況就是這樣，謝謝大家。
張福波：非常感謝，實(shí)際上你會(huì)看到很樸實(shí)，所以首信在做政務(wù)云方面沒(méi)有太多的虛的東西，我們看到一個(gè)事實(shí)，就是服務(wù)器在增加，我們需求在增加，負(fù)載在增加，所以腳踏實(shí)地一步步往前走，是一個(gè)云落地的實(shí)實(shí)在在的道理。
下面我們有請(qǐng)?zhí)煸瓶萍嫉募夹g(shù)總監(jiān)張軼給我們介紹一下skyform。
張軼：下面我來(lái)介紹一下skyform的云管理平臺(tái)，這是天云科技自主研發(fā)的一款軟件產(chǎn)品，我們看一下它能幫助我們IT管理人員解決什么問(wèn)題。
問(wèn)題一，傳統(tǒng)IT在初期投資方面會(huì)呈現(xiàn)這么一種情況，初期投入很大，隨著設(shè)備的使用年限，包括初期的回報(bào)是不成比例的，造成投資很大，但是收益很小，這是目前的問(wèn)題一。
問(wèn)題二，會(huì)出現(xiàn)運(yùn)營(yíng)成本，在運(yùn)營(yíng)成本里面，會(huì)有這么幾個(gè)問(wèn)題，系統(tǒng)部署、維護(hù)都需要更專業(yè)的人士操作，還有資源共享問(wèn)題，很多系統(tǒng)間資源利用率的不到有效的提高，資源的共享做不到很有利的共享，就會(huì)造成資源的浪費(fèi)。如果一個(gè)系統(tǒng)的資源不能被占滿，那其他系統(tǒng)幾乎沒(méi)有辦法使用，這是一個(gè)問(wèn)題。還有一個(gè)規(guī)模的要求，事實(shí)上規(guī)模越小的數(shù)據(jù)中心，其實(shí)單位的運(yùn)營(yíng)成本也是非常高的。這是我們總結(jié)的問(wèn)題二。
問(wèn)題三，資源利用率。實(shí)際上這跟資源高可用性是比較矛盾的，我們大家都知道，為了保證業(yè)務(wù)的高可靠性，基本上我們會(huì)做HA，做雙機(jī)，這是什么情況呢？我們用一套跟生產(chǎn)系統(tǒng)配置一樣的備份系統(tǒng)，擺在邊上，為了提高高可用性，事實(shí)上這種做法安全性是有保障，但是基本上浪費(fèi)了我們一半的資源。
問(wèn)題四，電力成本?，F(xiàn)在電力成本基本上已經(jīng)遠(yuǎn)遠(yuǎn)大于服務(wù)器的設(shè)備價(jià)值，包括服務(wù)器網(wǎng)絡(luò)設(shè)備本身的耗電，包括制冷設(shè)備，空調(diào)等的耗電，還有一個(gè)在做交流電轉(zhuǎn)換的時(shí)候，電的轉(zhuǎn)換功率的損耗，這個(gè)都會(huì)造成電力成本的提升，這是我們總結(jié)出來(lái)的第四個(gè)IT問(wèn)題。
跟應(yīng)用相關(guān)的IT領(lǐng)域我們也要看一下，這是根據(jù)移動(dòng)運(yùn)營(yíng)商內(nèi)部的系統(tǒng)，我們也總結(jié)出來(lái)一個(gè)問(wèn)題，幫助它優(yōu)化自己的IT系統(tǒng)。主要現(xiàn)狀就是業(yè)務(wù)流程實(shí)現(xiàn)比較長(zhǎng)，上一個(gè)新系統(tǒng)，從社會(huì)采購(gòu)到安裝調(diào)試，再加上一些配套，最終業(yè)務(wù)上線是一個(gè)很長(zhǎng)的過(guò)程，這是問(wèn)題一。還有各種小的業(yè)務(wù)平臺(tái)很多，基本上都會(huì)單獨(dú)操作，單獨(dú)購(gòu)買(mǎi)，設(shè)計(jì)，然后部署實(shí)施，這些小的業(yè)務(wù)系統(tǒng)之間的空閑資源就沒(méi)有辦法去做到共享。還有一個(gè)問(wèn)題就是設(shè)備很分散，可能一個(gè)公司內(nèi)部有十到二十個(gè)業(yè)務(wù)部門(mén)，每個(gè)業(yè)務(wù)部門(mén)可能有十到幾十個(gè)不等業(yè)務(wù)，分散在很多地方，不同樓層不同數(shù)據(jù)中心，這些規(guī)模需要我們配置很多專業(yè)維護(hù)人員，即便是這樣，維護(hù)成本很高，那么維護(hù)效果怎么樣？不是很好。還有一個(gè)系統(tǒng)的易構(gòu)性，現(xiàn)在各種易構(gòu)設(shè)備也很多，X86的服務(wù)器，包括機(jī)架式的，刀片式的，還包括小機(jī)，所有這些易構(gòu)的環(huán)境又給我們運(yùn)維人員造成一個(gè)很大的難度，所以這些都是我們總結(jié)出來(lái)目前現(xiàn)有的IT系統(tǒng)里面存在的問(wèn)題。
我們看云計(jì)算解決哪些問(wèn)題，第一，它不需要巨大的一次性投入，它需要資源池這么一個(gè)概念，它是可以被動(dòng)態(tài)彈性擴(kuò)張的，所以在業(yè)務(wù)啟動(dòng)初期，沒(méi)有必要把所有IT設(shè)備一次采購(gòu)齊，我們可以按照實(shí)際業(yè)務(wù)的開(kāi)展情況，陸續(xù)往這個(gè)資源池里添加所需要的資源，這樣可以減少初期投入的成本，這是第一個(gè)問(wèn)題。
還有一個(gè)，通過(guò)自動(dòng)化的管理，降低運(yùn)營(yíng)成本，其實(shí)自動(dòng)化管理也包含好幾個(gè)層面的意思，首先我們應(yīng)用的部署，部署是不是需要自動(dòng)化？以前基本上都是靠人工安裝，那是不是我們可以靠機(jī)器自動(dòng)方式，把這個(gè)業(yè)務(wù)部署上去？這是一個(gè)自動(dòng)化，還有一個(gè)自動(dòng)化就是流程上面，管理流程也需要一個(gè)自動(dòng)化列成的處理，包括我們事件管理，包括變更管理，按照以前我們傳統(tǒng)說(shuō)的IT與SM，我們需要對(duì)各個(gè)流程，事件流程，故障流程進(jìn)行一個(gè)規(guī)范化的流程管理，這也可以納入到自動(dòng)化管理的范疇。資源的共享就是在不影響業(yè)務(wù)高可用的前提下，提升資源利用率，最簡(jiǎn)單的做法，大家都知道，做虛擬化，目前市場(chǎng)上比較主流的虛擬化廠家，大家都知道，可以用虛擬機(jī)通過(guò)熱遷移技術(shù)來(lái)保證高可用性。另外，通過(guò)硬件的集中部署降低PUE值，節(jié)約電力成本。這是云計(jì)算可以給目前IT環(huán)境帶來(lái)的一些好處。
我們看傳統(tǒng)IT的應(yīng)用孤島到云的演化過(guò)程，每一個(gè)應(yīng)用都有配套的軟硬件基礎(chǔ)設(shè)施，應(yīng)用和應(yīng)用之間互不影響，獨(dú)立存在，我們把這種情況形容為應(yīng)用孤島，這是目前傳統(tǒng)IT系統(tǒng)遇到的第一個(gè)問(wèn)題，我們可以往下延伸，通過(guò)集群方式變成一個(gè)同構(gòu)資源，我們就可以以資源池方式提供應(yīng)用的支撐。再往下就是異構(gòu)，最終我們會(huì)發(fā)展到把IT作為一個(gè)服務(wù)，舉一個(gè)簡(jiǎn)單例子，原來(lái)我們IT部門(mén)，運(yùn)維部門(mén)，基本上就是成本中心，它平時(shí)負(fù)責(zé)IT規(guī)劃，運(yùn)維服務(wù)，是一個(gè)典型的成本中心，就是說(shuō)你把這個(gè)事情干好了，沒(méi)人會(huì)表?yè)P(yáng)你，認(rèn)為是應(yīng)該的，但是如果壞了就是你的問(wèn)題，現(xiàn)在我們希望把我們IT部門(mén)變成一個(gè)利潤(rùn)中心，賣(mài)什么東西呢？就是IT服務(wù)，可以在兩個(gè)領(lǐng)域里面體現(xiàn)，一個(gè)是公有云里面，典型像亞馬遜這樣的IaaS的提供商，它就是把IT作為服務(wù)賣(mài)出去。還有企業(yè)內(nèi)部的私有云，它雖然不是賣(mài)出去，但是終究提供了IT服務(wù)，這是我們說(shuō)的云計(jì)算最重要達(dá)到的目標(biāo)，這也是我們?cè)破脚_(tái)開(kāi)發(fā)的宗旨，就是把IT變成一個(gè)服務(wù)。
云計(jì)算平臺(tái)的發(fā)展路徑，大家都很熟了，從IaaS到Paas到SaaS，雖然這是云計(jì)算平臺(tái)發(fā)展總趨勢(shì)，但是他們之間沒(méi)有必然先后，或者誰(shuí)在誰(shuí)之上的必然聯(lián)系。我們很多客戶第一步建了IaaS平臺(tái)，把應(yīng)用移到資源池上面，把應(yīng)用作為對(duì)工互聯(lián)網(wǎng)業(yè)務(wù)發(fā)布出去，實(shí)現(xiàn)SaaS的應(yīng)用，這里面并沒(méi)有PaaS。
我們?cè)破脚_(tái)建設(shè)就是圍繞這樣一個(gè)中心，四個(gè)方面。一個(gè)中心就是降低TCO，四個(gè)方面首先是解決資源共享問(wèn)題，第二解決自動(dòng)化管理問(wèn)題，第三解決數(shù)據(jù)和信息整合，第四要解決業(yè)務(wù)邏輯的整合，這是我們?cè)破脚_(tái)努力的四個(gè)方向。
從云平臺(tái)發(fā)展歷程來(lái)看，目前我們IaaS部分基本具備了，不僅包括虛擬化，異構(gòu)資源池的管理，多租戶，安全等等我們都基本具備。PaaS層面我們會(huì)提供應(yīng)用自動(dòng)化部署，剛才我們也提到了，完全是由機(jī)器完成一個(gè)業(yè)務(wù)的整個(gè)配置和上線試運(yùn)行，這個(gè)過(guò)程是體現(xiàn)在我們PaaS平臺(tái)的范疇。SaaS目前天云科技并不開(kāi)發(fā)本身，但是我們可以支持SaaS應(yīng)用在我們?cè)破脚_(tái)上面。這是我們整個(gè)發(fā)展趨勢(shì)。
這是一個(gè)簡(jiǎn)單的skyform云平臺(tái)架構(gòu)圖，這里面包含一個(gè)資源管理，通過(guò)資源池把資源分配起來(lái)，調(diào)度起來(lái)，看資源生命周期，進(jìn)行管理，對(duì)于資源我們還需要監(jiān)控，需要運(yùn)維，這都包括在資源管理層面。還有一部分屬于運(yùn)營(yíng)管理，我們要把IT變成服務(wù)賣(mài)出去，賣(mài)出去過(guò)程就是運(yùn)營(yíng)的過(guò)程，這個(gè)運(yùn)營(yíng)過(guò)程里面，可能會(huì)包括一些服務(wù)模板，服務(wù)目錄，定單，帳單審核，計(jì)費(fèi)等等，這些功能基本上是運(yùn)營(yíng)管理，同時(shí)還配有門(mén)戶，門(mén)戶根據(jù)不同的使用對(duì)象提供不同種類的門(mén)戶，有最終用戶的，它通過(guò)我們平臺(tái)來(lái)以自服務(wù)方式訂購(gòu)IT服務(wù)，可以由一個(gè)自服務(wù)門(mén)戶，運(yùn)營(yíng)管理員要有一個(gè)界面做運(yùn)營(yíng)管理的事。資源管理員會(huì)用資源管理門(mén)戶使用套系統(tǒng)。
到底面向資源還是面向服務(wù)？我們剛才說(shuō)了半天資源，但是服務(wù)往往是我們會(huì)忽略的地方，其實(shí)我們?cè)谑袌?chǎng)上可以看到很多廠家也只是在提資源，我們認(rèn)為其實(shí)服務(wù)更應(yīng)該給予更多的關(guān)注。對(duì)于服務(wù)來(lái)講，服務(wù)本身是對(duì)資源有一個(gè)需求的，我們建云平臺(tái)的目的，實(shí)際上是為了支撐云平臺(tái)上面跑的服務(wù)，而不是為了管理資源而管理資源。資源到底怎么管理？怎么分配？如何變成IT？變成服務(wù)？就需要我們對(duì)服務(wù)加以定義，區(qū)別什么樣的服務(wù)需要什么樣的資源？
實(shí)際上服務(wù)在定義過(guò)程里面，實(shí)際上就是在創(chuàng)建服務(wù)模板的過(guò)程，服務(wù)可能是相通的，可以被歸類的，我們把一些相通的，或者是相同的服務(wù)歸為一類，把它作為一種模板，再一個(gè)服務(wù)模板里面我們會(huì)通過(guò)區(qū)分服務(wù)來(lái)封裝資源。
我們天云云平臺(tái)的特點(diǎn)，首先資源管理能力，我們有豐富的計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)服務(wù)，我們還有靈活的資源域的機(jī)制，大的資源池里面還是按照不同種類的業(yè)務(wù)，有可能在企業(yè)內(nèi)部是按照不同部門(mén)，不同應(yīng)用系統(tǒng)，劃出一些專有的資源，同樣是在大的資源池里面，還需要邏輯上區(qū)分某些具體的專用的業(yè)務(wù)領(lǐng)域，但是所有的這些業(yè)務(wù)之間，他們?cè)谫Y源池這個(gè)層面實(shí)際上是共享資源池的，邏輯域概念是為每個(gè)應(yīng)用定義了一個(gè)配額，這個(gè)配額應(yīng)用在他的配額之內(nèi)是可以共享的，這是對(duì)我們資源域的考慮。還有一個(gè)自動(dòng)化部署，應(yīng)用部署，用戶自服務(wù)能力，異構(gòu)資源管理，還要配上傳統(tǒng)的監(jiān)控、報(bào)表、安全管理等等，由這些主要特性構(gòu)成天云的云平臺(tái)。
服務(wù)目錄基本上就是IT即服務(wù)里面展示的服務(wù)，可以像點(diǎn)菜一樣，需要哪些菜單就可以選取。這是整個(gè)的虛擬機(jī)服務(wù)流程，從用戶進(jìn)入自服務(wù)門(mén)戶，通過(guò)服務(wù)目錄選購(gòu)他需要的IT產(chǎn)品，整個(gè)的流程，最終可以從我們平臺(tái)申請(qǐng)、使用、開(kāi)通這樣的IT服務(wù)。
我們還可以采用多個(gè)虛擬機(jī)的方式，來(lái)構(gòu)建一整套完整的應(yīng)用運(yùn)行環(huán)境，也是可以的，不一定是單機(jī)了。
對(duì)于我們說(shuō)的應(yīng)用容器這樣的服務(wù)，應(yīng)用容器的服務(wù)，我們是針對(duì)目前比較流行的幾套應(yīng)用，設(shè)定了很多服務(wù)模板，用戶可以根據(jù)需要選擇這個(gè)應(yīng)用模板，最后封裝成一個(gè)服務(wù)。
下面就是一些管理層面的功能，包括運(yùn)營(yíng)管理，還有資源管理，包括普通用戶自服務(wù)的管理。這是一些端到端的流程，隨著用戶角色不一樣，流程也不一樣，這些流程基本上是可以被定義，被跟蹤，被執(zhí)行，被修改，所以流程是很靈活的，并不是一個(gè)很死的流程。
對(duì)于異構(gòu)的管理，不僅是設(shè)備層面的異構(gòu)，不同設(shè)備品牌，不同硬件設(shè)備，對(duì)于虛擬化支持，我們也是支持主流的X86虛擬化的架構(gòu)，同時(shí)對(duì)傳統(tǒng)小型機(jī)的分區(qū)技術(shù)，也可以支持。
這是我們虛擬機(jī)，小型機(jī)的管理。這是存儲(chǔ)資源，我們可以實(shí)現(xiàn)統(tǒng)一的存儲(chǔ)管理功能，不僅僅是陣列存儲(chǔ)，也包含分布式存儲(chǔ)，從傳統(tǒng)接口來(lái)看，我們既支持SUN存儲(chǔ)，也支持NFS的存儲(chǔ)，都由統(tǒng)一管理平臺(tái)來(lái)管理分配。
這是資源調(diào)度，我們有好的調(diào)度機(jī)制，縱向優(yōu)先，橫向優(yōu)先，通過(guò)開(kāi)放分配策略接口，增加新的分配策略。
網(wǎng)絡(luò)資源管理也是一樣，可以通過(guò)支撐第三方的網(wǎng)絡(luò)設(shè)備，比如思科，華為跟他們集成，實(shí)現(xiàn)在云平臺(tái)里面用到的網(wǎng)絡(luò)虛擬化的功能。
這是大規(guī)模自動(dòng)部署的能力，可以緩解人的工作量，這是ITSM運(yùn)維流程管理軟件，包括我們整個(gè)從運(yùn)營(yíng)管理也好，運(yùn)維管理也好，只要涉及到流程的部分，我們都會(huì)參考有關(guān)規(guī)定，來(lái)做具體的流程管理。
報(bào)表統(tǒng)計(jì)功能，我們可以支持兩種做法，一個(gè)是目前系統(tǒng)內(nèi)置的一些有用的報(bào)表，將來(lái)還會(huì)進(jìn)一步支持用戶自定義自建自己的報(bào)表，這是我們下一步要繼續(xù)努力的方向。
對(duì)于云平臺(tái)里面安全方面的考慮，其實(shí)我們也有各種方案，當(dāng)然不排除我們說(shuō)的傳統(tǒng)安全措施，包括防火墻IDS，IPS，我們依然會(huì)保留，云計(jì)算引進(jìn)來(lái)更多是數(shù)據(jù)被集中存放，資源會(huì)被共享，會(huì)有多租戶概念，這里我們會(huì)著重的防止共享資源之間的一些沖突，包括用戶本身的安全管理，虛擬機(jī)之間的隔離，網(wǎng)絡(luò)應(yīng)用的隔離，這也是在我們?cè)破脚_(tái)安全體系里面需要考慮的。
最后總結(jié)一下天云云平臺(tái)的幾個(gè)優(yōu)勢(shì)，第一我們有完整的產(chǎn)品和解決方案。第二個(gè)部分，我們通過(guò)對(duì)基礎(chǔ)架構(gòu)的優(yōu)化，能提升資源的管理能力。第三部分，我們是針對(duì)用戶的應(yīng)用來(lái)設(shè)計(jì)我們的資源管理，所以它跟應(yīng)用用戶的需求是結(jié)合的非常緊密的。最后一點(diǎn)我們成功案例非常多，我們會(huì)后可以集體討論，謝謝。
張福波：謝謝張總，我們有請(qǐng)下一位演講嘉賓，友友的COO張炬。
張炬：各位嘉賓下午好。感覺(jué)大家聽(tīng)了很長(zhǎng)時(shí)間講話比較疲憊了，我盡量講的輕松一點(diǎn)。首先我重復(fù)一下以上很多嘉賓提到的，從企業(yè)角度看，IT技術(shù)發(fā)展幾個(gè)比較明確的趨勢(shì)，這就包含了從數(shù)據(jù)角度看，從計(jì)算角度看，IT部門(mén)逐漸從一個(gè)成本中心變成了提供服務(wù)的核心部門(mén)，所以我們認(rèn)為從企業(yè)IT部門(mén)角度看，有三個(gè)很明顯的變化，首先數(shù)據(jù)成了核心的位置。第二由此帶來(lái)第二個(gè)變化，企業(yè)的IT架構(gòu)設(shè)計(jì)上，怎么把一個(gè)數(shù)據(jù)很快處理掉，從這種方式轉(zhuǎn)化成應(yīng)對(duì)數(shù)據(jù)的增長(zhǎng)，把存儲(chǔ)的數(shù)據(jù)真正價(jià)值體現(xiàn)出來(lái)。第三，IT逐漸從成本中心變成一個(gè)能為企業(yè)從數(shù)據(jù)分析，數(shù)據(jù)挖掘角度真正提供經(jīng)營(yíng)價(jià)值的方向來(lái)發(fā)展。
友友從07年開(kāi)始一直投身于云計(jì)算底層基礎(chǔ)軟件的開(kāi)發(fā)，為什么把自己這么定義呢？大家從市場(chǎng)上聽(tīng)到的云計(jì)算，這一個(gè)詞涵蓋了兩個(gè)方面內(nèi)容，首先一部分我們說(shuō)，可能更多宣傳的就是云計(jì)算服務(wù)領(lǐng)域，剛才我們提到了，IaaS，PaaS，最終都是服務(wù)，這個(gè)更多談到是交互方式。就是說(shuō)，你怎么獲取你想要的資源，能力，或者服務(wù)。
另外一部分，我們叫做技術(shù)上的發(fā)展，我們認(rèn)為這是我們友友比較專注的方向。整個(gè)云計(jì)算的變革在根本技術(shù)上有什么演進(jìn)。從我們角度看很明顯幾件事，分布式技術(shù)的演進(jìn)，從網(wǎng)格計(jì)算開(kāi)始，從分布式計(jì)算，集群，到網(wǎng)格，最終變化成我們提到的云計(jì)算，演進(jìn)還是有明顯的上升趨勢(shì)。這是友友作為一個(gè)軟件公司所聚焦的領(lǐng)域。
為什么會(huì)說(shuō)云計(jì)算是一種變革，必要性在什么地方？是不是就是一個(gè)新名詞？我們認(rèn)為有三個(gè)很明顯的驅(qū)動(dòng)，首先是用戶，用戶數(shù)量增長(zhǎng)，網(wǎng)絡(luò)普及帶來(lái)很明確的現(xiàn)象，讓越來(lái)越多的人，越來(lái)越多機(jī)構(gòu)，越來(lái)越多設(shè)備能非常容易從整個(gè)IT系統(tǒng)中獲取它所需要的信息或者服務(wù)。我們把這個(gè)歸結(jié)為用戶數(shù)量的增長(zhǎng)，這個(gè)數(shù)量的增長(zhǎng)在緩慢進(jìn)程中，終于通過(guò)網(wǎng)絡(luò)大發(fā)展達(dá)到數(shù)量巨大的程度。而且用戶多了以后，用戶需求多樣性了，這就給后面的服務(wù)提供商增加了挑戰(zhàn)。
另外就是數(shù)據(jù)量的變化，生成數(shù)據(jù)的數(shù)據(jù)量增長(zhǎng)是非?？斓?，沒(méi)有網(wǎng)絡(luò)情況下，每個(gè)人每個(gè)設(shè)備生成的數(shù)量是線性的，有了網(wǎng)絡(luò)以后，是點(diǎn)性的，隨著關(guān)系的增長(zhǎng)，數(shù)據(jù)量就是成倍增長(zhǎng)。
由于用戶量和數(shù)據(jù)量增長(zhǎng)，直接帶來(lái)一個(gè)后果，就是為了支持用戶，支持?jǐn)?shù)據(jù)，系統(tǒng)支撐就要非常非常強(qiáng)大。
這就歸結(jié)到我們友友產(chǎn)品最核心的想法，如果用戶數(shù)量是持續(xù)增加的，我們要應(yīng)對(duì)的數(shù)據(jù)量是持續(xù)增加的過(guò)程，后臺(tái)支撐系統(tǒng)想解決這個(gè)問(wèn)題，最有邏輯的思路就是說(shuō)，只要能增加資源，線性的增加資源就可以解決這個(gè)問(wèn)題，所以我們認(rèn)為云計(jì)算或者底層平臺(tái)一個(gè)核心目標(biāo)是通過(guò)增加機(jī)器而非人員實(shí)現(xiàn)能力的擴(kuò)充。機(jī)器多了，增加資源多了，第一個(gè)要求就是把這些機(jī)器集中起來(lái)做一件事情，怎么能把機(jī)器很好的組織起來(lái)，讓他們協(xié)作，完成一個(gè)任務(wù)。
另外兩個(gè)能力，由于底層系統(tǒng)規(guī)模增加了，有兩件事必須做的，我底層容量或者體量的增加不應(yīng)該影響上層服務(wù)，上層服務(wù)只是我底層資源的用戶，這時(shí)候就是一個(gè)透明性了，我底層資源增加不會(huì)影響我的架構(gòu)，第二個(gè)彈性，應(yīng)該保證我沒(méi)增加一個(gè)資源，底層系統(tǒng)處理能力是逐漸增強(qiáng)。
怎么實(shí)現(xiàn)呢？要有三個(gè)原則，首先要協(xié)同原則，組織資源用以服務(wù)，其次要有一個(gè)動(dòng)態(tài)原則，組織流程用以應(yīng)變。第三是規(guī)模原則，組織架構(gòu)用以擴(kuò)展。從分布式系統(tǒng)來(lái)講，每增加一個(gè)節(jié)點(diǎn)，無(wú)論是網(wǎng)絡(luò)角度考慮，還是通信協(xié)同考慮，都是有一定的損害的，這個(gè)系統(tǒng)架構(gòu)一定要保證我隨著容量的增加，整個(gè)系統(tǒng)的能力是一個(gè)線性增長(zhǎng)的過(guò)程。
我們針對(duì)企業(yè)的大數(shù)據(jù)，在企業(yè)內(nèi)部數(shù)據(jù)需求是多樣的，不同應(yīng)用系統(tǒng)，不同應(yīng)用場(chǎng)景，總結(jié)起來(lái)我們認(rèn)為這個(gè)數(shù)據(jù)把它單獨(dú)抽象出來(lái)，數(shù)據(jù)在企業(yè)中分三個(gè)類型，首先一個(gè)是交易數(shù)據(jù)，也就是說(shuō)跟你的核心業(yè)務(wù)關(guān)聯(lián)非常大，比如買(mǎi)賣(mài)數(shù)據(jù)，比如銀行的存取款等等，交易型數(shù)據(jù)，這些數(shù)據(jù)要求首先是數(shù)據(jù)是實(shí)時(shí)的，另外，從存儲(chǔ)量和訪問(wèn)量來(lái)講，通常數(shù)據(jù)量不是非常大，因?yàn)槟銓?shí)時(shí)性決定了我有效交易數(shù)據(jù)在某一個(gè)時(shí)段發(fā)生量是有限的，另外一個(gè)流逝的業(yè)務(wù)數(shù)據(jù)，往往是說(shuō)，隨著交易發(fā)生，或者支撐你的核心業(yè)務(wù)，往往涉及到大量數(shù)據(jù)，這些數(shù)據(jù)包括辦公文檔，包括歷史數(shù)據(jù)用來(lái)做運(yùn)營(yíng)支撐的，包括做網(wǎng)絡(luò)優(yōu)化，做的CDI，這些數(shù)據(jù)實(shí)際上并不是你要保證它的鮮活性，但是這個(gè)量非常大，尤其積累一定時(shí)間以后，你要深度挖掘。所以我們講的分布式架構(gòu)，或者云計(jì)算的架構(gòu)，非常適合解決的范疇是后兩類，也就是流逝的業(yè)務(wù)數(shù)據(jù)和歸檔型數(shù)據(jù)的處理。
我們今天想跟大家交流幾個(gè)方面，首先一點(diǎn)就是說(shuō)，在意企業(yè)里產(chǎn)生海量業(yè)務(wù)數(shù)據(jù)，從數(shù)據(jù)產(chǎn)生點(diǎn)來(lái)說(shuō)，關(guān)鍵型結(jié)構(gòu)化數(shù)據(jù)占絕大多數(shù)，而且占非常重要的地位，就是說(shuō)，對(duì)企業(yè)整個(gè)業(yè)務(wù)系統(tǒng)，或者新型系統(tǒng)最有價(jià)值的數(shù)據(jù)，往往是從交易型系統(tǒng)產(chǎn)生的，重要性很大，這就決定了在傳統(tǒng)企業(yè)業(yè)務(wù)系統(tǒng)中間，關(guān)鍵型數(shù)據(jù)庫(kù)，往往是最早變成性能瓶頸和壓力瓶頸的點(diǎn)，所以從現(xiàn)階段來(lái)看，我們認(rèn)為企業(yè)的信息系統(tǒng)云化，或者采用新的架構(gòu)來(lái)解決真實(shí)問(wèn)題，可能最重要的一個(gè)部分就是說(shuō)，我怎么能用新的技術(shù)，新的思路來(lái)解決現(xiàn)在企業(yè)業(yè)務(wù)系統(tǒng)中關(guān)鍵型數(shù)據(jù)庫(kù)所直接面臨的無(wú)論是流量還是性能壓力的問(wèn)題。
沿著上面的這個(gè)點(diǎn)有三個(gè)很典型的應(yīng)用場(chǎng)景，首先跨域異構(gòu)海量數(shù)據(jù)匯聚問(wèn)題，這個(gè)對(duì)于大型企業(yè)，有很多分公司的集團(tuán)公司，或者國(guó)家機(jī)關(guān)，部委，這些分支機(jī)構(gòu)的信息系統(tǒng)，最早是自己獨(dú)立建設(shè)的，隨著集中化的要求，組織架構(gòu)的變化，往往要求我怎么把分散在各地的數(shù)據(jù)有效的匯聚起來(lái)，統(tǒng)一管理，統(tǒng)一利用，支持我集中化運(yùn)營(yíng)需求。這是很現(xiàn)實(shí)的問(wèn)題。
現(xiàn)有的解決思路不能滿足現(xiàn)在的需求，數(shù)據(jù)倉(cāng)庫(kù)是依賴于關(guān)鍵型數(shù)據(jù)庫(kù)，容量延展性是一個(gè)問(wèn)題，另外數(shù)據(jù)提取過(guò)程，本質(zhì)上是一個(gè)批量處理過(guò)程，也就是說(shuō)我是一個(gè)數(shù)據(jù)，我必須有一個(gè)導(dǎo)出，清洗，導(dǎo)入流程，這個(gè)流程通常是批量的，這個(gè)時(shí)候?qū)?shù)據(jù)的鮮活性是有影響的，也就是說(shuō)在分公司發(fā)生的事情，影射到數(shù)據(jù)同步回來(lái)，是有很長(zhǎng)的時(shí)間差，對(duì)數(shù)據(jù)同步實(shí)施性是有影響的。最終導(dǎo)致結(jié)果是無(wú)論哪個(gè)倉(cāng)庫(kù)成本都非常高。
新的解決方案，用我們產(chǎn)品可以方便構(gòu)建多活體關(guān)鍵數(shù)據(jù)庫(kù)集群，我們把我們產(chǎn)品分布在中間這一層，解決了中間容量問(wèn)題，第二部分我們解決的是從遠(yuǎn)程到進(jìn)程數(shù)據(jù)復(fù)制的流程，在這個(gè)流程中我們采用技術(shù)不是批量導(dǎo)入導(dǎo)出，而是采用更接近于流逝處理，隨著數(shù)據(jù)變化，實(shí)時(shí)發(fā)生，把增量數(shù)據(jù)實(shí)時(shí)采集出來(lái)，然后傳輸?shù)街醒敕植际綌?shù)據(jù)庫(kù)集群里面來(lái)。還有很重要一點(diǎn)，中央數(shù)據(jù)客集群是一個(gè)多活體架構(gòu)，實(shí)際上我存儲(chǔ)是異構(gòu)數(shù)據(jù)，也就是我保證這個(gè)數(shù)據(jù)從遠(yuǎn)端到中心存儲(chǔ)沒(méi)有經(jīng)過(guò)特別需要的清洗流程，遠(yuǎn)端數(shù)據(jù)格式映射到中央是實(shí)時(shí)影射過(guò)來(lái)的。
第二個(gè)挑戰(zhàn)，很多互聯(lián)網(wǎng)企業(yè)，包括電信企業(yè)，經(jīng)常會(huì)遇到，對(duì)于我的核心數(shù)據(jù)存儲(chǔ)，往往有一些業(yè)務(wù)需要非常高非常大的吞吐量的訪問(wèn)，而且往往不只是讀取而是修改。這個(gè)對(duì)關(guān)鍵型數(shù)據(jù)庫(kù)壓力非常大。
那么現(xiàn)有的解決思路呢，當(dāng)前最常見(jiàn)的是高性能網(wǎng)站的構(gòu)建是使用應(yīng)用服務(wù)器加數(shù)據(jù)緩存服務(wù)器加關(guān)系型數(shù)據(jù)庫(kù)服務(wù)器組合的架構(gòu)，其中數(shù)據(jù)緩存服務(wù)器把熱點(diǎn)數(shù)據(jù)實(shí)現(xiàn)內(nèi)存存儲(chǔ)，可以大大提高應(yīng)用服務(wù)器對(duì)數(shù)據(jù)的訪問(wèn)速度和吞吐量。
我們提出來(lái)的解決方案，我在內(nèi)存里發(fā)生的事情，我通過(guò)不同復(fù)制機(jī)制，保證我數(shù)據(jù)持久化。我們把這個(gè)結(jié)構(gòu)叫做一體化的存儲(chǔ)和緩存的結(jié)合。同時(shí)是用分布式方式實(shí)現(xiàn)吞吐量，容量和可靠性的需求。
第三個(gè)挑戰(zhàn)，叫做統(tǒng)一數(shù)據(jù)支撐平臺(tái)。我現(xiàn)在數(shù)據(jù)最好的情況就是把各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)統(tǒng)一存儲(chǔ)統(tǒng)一管理起來(lái)，而不是每個(gè)業(yè)務(wù)系統(tǒng)都是孤島，這樣對(duì)數(shù)據(jù)發(fā)掘就有影響。
做統(tǒng)一數(shù)據(jù)訪問(wèn)或者統(tǒng)一數(shù)據(jù)管理，其實(shí)這是長(zhǎng)久的需求了，在過(guò)去思路上，我們叫做EAR模式，企業(yè)應(yīng)用集成方式，雖然數(shù)據(jù)在各個(gè)業(yè)務(wù)系統(tǒng)里，但我可以定義規(guī)范標(biāo)準(zhǔn)，讓業(yè)務(wù)系統(tǒng)之間可以很方便交換這個(gè)數(shù)據(jù)。實(shí)際上在某種程度上是解決問(wèn)題的辦法，而且把這個(gè)壓力釋放出去了。但是實(shí)現(xiàn)起來(lái)挑戰(zhàn)非常大，非常復(fù)雜的過(guò)程，而且往往由于新的業(yè)務(wù)系統(tǒng)不停加入，EAR的標(biāo)準(zhǔn)很難持續(xù)，最終又演變回一個(gè)信息孤島的情況。
我們提出來(lái)的解決方案呢，我們把海量數(shù)據(jù)剝離出來(lái)放在分布式存儲(chǔ)系統(tǒng)中，然后通過(guò)第三方外掛形式，還可以支持近線存儲(chǔ)或者離線存儲(chǔ)形式，在這個(gè)構(gòu)建完了底層存儲(chǔ)之后，我們上面構(gòu)建一個(gè)統(tǒng)一數(shù)據(jù)訪問(wèn)，這一層可以把底層數(shù)據(jù)規(guī)劃好，能抽象出來(lái)，為上層應(yīng)用提供一個(gè)相對(duì)來(lái)說(shuō)透明的訪問(wèn)機(jī)制。
上面跟大家分析了三種在企業(yè)中常見(jiàn)的數(shù)據(jù)壓力的場(chǎng)景，把這些東西總結(jié)一下，我們提出了通用的基于云計(jì)算的大數(shù)據(jù)平臺(tái)架構(gòu)，叫做一二三。
首先是核心系統(tǒng)，包括三個(gè)部分，一個(gè)是存儲(chǔ)系統(tǒng)，另外一個(gè)是訪問(wèn)系統(tǒng)，加上數(shù)據(jù)分析系統(tǒng)。
兩個(gè)管理機(jī)制，實(shí)際上分兩個(gè)部分，第一個(gè)數(shù)據(jù)總線保證在分布式系統(tǒng)里有良好的流動(dòng)性，另外調(diào)動(dòng)系統(tǒng)和工作流系統(tǒng)。
最后三個(gè)支撐框架，實(shí)際上數(shù)據(jù)采集這部分是經(jīng)常被大家忽略的很重要的一部分，就是數(shù)據(jù)怎么能采集進(jìn)來(lái)，在這么大的數(shù)據(jù)壓力下，怎么保證數(shù)據(jù)可靠高速的寫(xiě)進(jìn)來(lái)，這個(gè)采集有兩個(gè)關(guān)鍵點(diǎn)，首先是收集，另外是存儲(chǔ)。另外一個(gè)運(yùn)維框架，最后還有管理交付框架。
今天跟大家分享就這些，謝謝大家。
張福波：謝謝張總，友友實(shí)際上在云計(jì)算是做的很早，也是資格比較老的軟件公司，他們擁有比較先進(jìn)獨(dú)特的技術(shù)，今天張總給我們從大數(shù)據(jù)，點(diǎn)到點(diǎn)的問(wèn)題給出了點(diǎn)到點(diǎn)的解決方案。下面最后一位嘉賓，我們有請(qǐng)?zhí)煸瓶萍几呒?jí)咨詢顧問(wèn)王淳給我們講一下大數(shù)據(jù)他們的產(chǎn)品和理念。
王淳：各位好，下面我給各位介紹一下天云科技這邊的一條產(chǎn)品系列，大數(shù)據(jù)，并不是BIGDATA而是BEAGLEDAT，BEAGLE是一種非常聰明的犬類，意思就是我們這是非常聰明的深層次的知識(shí)挖掘和獲取。
大家已經(jīng)接收到很多這方面的信息了，我們剛才也聽(tīng)到友友這邊非常精彩的演講，其實(shí)有一些部分是有類似地方存在，我們希望讓客戶了解到的，是天云大數(shù)據(jù)這邊能提供給用戶一些產(chǎn)品，幫助他實(shí)現(xiàn)這些內(nèi)容，我們一直說(shuō)分布式計(jì)算，云計(jì)算，虛擬化。但是我們看到互聯(lián)網(wǎng)這樣一個(gè)行業(yè)開(kāi)始考慮大數(shù)據(jù)，或者琢磨一些新的技術(shù)來(lái)滿足大數(shù)據(jù)這個(gè)場(chǎng)景的時(shí)候，我們看見(jiàn)他們考慮非常龐雜的數(shù)據(jù)類型，以及各種各樣規(guī)模的時(shí)候，需求是擺在這里，但是我們發(fā)現(xiàn)很多新技術(shù)，新的架構(gòu)，新的產(chǎn)品，我們并不知道它該怎么去用。我們?cè)诜植际较到y(tǒng)上都已經(jīng)認(rèn)可這個(gè)架構(gòu)合理性，但是這個(gè)人才并不是很充裕。再就是基于分布式體系架構(gòu)，我們需要在上面做應(yīng)用開(kāi)發(fā)，這方面人員也并不是非常多。再就是對(duì)于統(tǒng)計(jì)學(xué)，數(shù)學(xué)算法這類的專家也不一定能幫助我們完成我們所需要的每項(xiàng)工作，所以我們就需要一種東西，能夠很簡(jiǎn)單的讓我們利用。
所以天云大數(shù)據(jù)這邊，我們做了一套產(chǎn)品系列，可以從下往上看，最底層就是BDP，我們提供就是數(shù)據(jù)平臺(tái)軟件產(chǎn)品，這樣一個(gè)產(chǎn)品可以幫助用戶把大量的數(shù)據(jù)存放在上面，并且實(shí)現(xiàn)的是低成本，高效率的存放。在我們已經(jīng)落地下來(lái)的項(xiàng)目當(dāng)中，可以實(shí)現(xiàn)很少的幾臺(tái)X86架構(gòu)的PC服務(wù)器就可以實(shí)現(xiàn)幾個(gè)TB每小時(shí)的數(shù)據(jù)加載量，我可以低成本快速的把數(shù)據(jù)放在里面來(lái)，畢竟我們往后做的所有事情都是基于數(shù)據(jù)的，這些數(shù)據(jù)必須拿過(guò)來(lái)。
再往上就是BDF，如果非要找一個(gè)比對(duì)的對(duì)象，我們可以簡(jiǎn)單的把它理解成有點(diǎn)類似于我們?cè)?jīng)做數(shù)據(jù)倉(cāng)庫(kù)的時(shí)候講的ETL的過(guò)程，它實(shí)現(xiàn)的功能就是能夠幫助用戶把各種各樣的數(shù)據(jù)源，可能是不同業(yè)務(wù)部門(mén)，可能是歷史遺留文件，也可能是跨行業(yè)跨領(lǐng)域，范圍之內(nèi)能獲取到的數(shù)據(jù)，甚至有可能需要一些互聯(lián)網(wǎng)上大量的各種各樣結(jié)構(gòu)的數(shù)據(jù)，我們希望把這些都整合起來(lái)，希望做到更全面更有深度的數(shù)據(jù)整合，因?yàn)閿?shù)據(jù)就緒過(guò)程被很多企業(yè)認(rèn)為是挖掘非?；A(chǔ)的工作，這一部分任何一個(gè)環(huán)節(jié)打了折扣，可能就導(dǎo)致今后的挖掘分析都不一定是準(zhǔn)確的。
當(dāng)我們有了數(shù)據(jù)就緒工作完成之后，我們最上面可以提供BDA，說(shuō)是加速，其實(shí)里面會(huì)融入很多復(fù)雜的組合，能讓客戶很方便拿來(lái)用。說(shuō)到算法，其實(shí)很多人都有誤區(qū)，算法可能是一個(gè)成型的工具，或者一個(gè)小子功能，其實(shí)說(shuō)到算法的時(shí)候，并不是說(shuō)某一種算法，或者某幾種算法簡(jiǎn)單組合就可以有，算法是要經(jīng)過(guò)訓(xùn)練的，所以在這個(gè)地方解釋很多用戶的誤區(qū)，說(shuō)算法是現(xiàn)成的，其實(shí)并不是，我們算法需要幫助客戶對(duì)業(yè)務(wù)進(jìn)行深入的了解之后組合出一些算法作為初期的模型，去進(jìn)行不斷的訓(xùn)練，不斷的調(diào)整，不斷再優(yōu)化，再訓(xùn)練，再調(diào)整的時(shí)候，最終才可以形成真正可用的高效率的，而且可以幫助我們實(shí)現(xiàn)真正的知識(shí)的信息挖掘。
所以我們提供這么三大類的產(chǎn)品系列，后邊我們會(huì)根據(jù)這些內(nèi)容去簡(jiǎn)單說(shuō)一下我們做這個(gè)產(chǎn)品的時(shí)候關(guān)注哪些點(diǎn)，哪些內(nèi)容。
一直說(shuō)云計(jì)算，一直說(shuō)大數(shù)據(jù)，很多人都覺(jué)得云里霧里，無(wú)法落地，所以剛才也說(shuō)過(guò)，很多用戶希望能找到一種方便使用，方便部署的東西，所以我們天云科技這需要做到幾個(gè)內(nèi)容，首先一點(diǎn)，就是要做到自動(dòng)化，我們都知道分布式的框架，底下都是無(wú)數(shù)臺(tái)的X86的環(huán)境，大量數(shù)據(jù)結(jié)點(diǎn)，我們希望把他用過(guò)來(lái)，希望用大規(guī)模并行能力去處理海量數(shù)據(jù)，在我們最底層部署的東西一定要能幫助我們快速簡(jiǎn)單的部署幾百上千臺(tái)服務(wù)器。所以我們開(kāi)發(fā)的時(shí)候非常專注于自動(dòng)化，易操作性和友好性。下面我給各位展示一下它的特性。
首先自動(dòng)化，在BDP當(dāng)中，從操作系統(tǒng)一級(jí)我們開(kāi)始允許用戶可以進(jìn)行自動(dòng)化的部署，以及各種參數(shù)統(tǒng)一的配置，不同節(jié)點(diǎn)各司其職，不同角色分擔(dān)的時(shí)候，哪些是作為數(shù)據(jù)節(jié)點(diǎn)，哪些是作為管理節(jié)點(diǎn)，什么樣的節(jié)點(diǎn)存儲(chǔ)什么樣的數(shù)據(jù)，里面各種各樣的參數(shù)，至于怎么配置，每臺(tái)節(jié)點(diǎn)都可能是不一樣的。再有基于事件可視化的管理，安裝過(guò)程中可能有問(wèn)題，所有事件都要能記錄下來(lái)，可以回溯或者重新安裝部署。
再有，比如說(shuō)我的操作系統(tǒng)裝完了，我自然要裝BDP的軟件環(huán)境，裝軟件環(huán)境的時(shí)候一樣，無(wú)數(shù)臺(tái)節(jié)點(diǎn)都要裝上，不同節(jié)點(diǎn)都有不同角色的區(qū)別，所以在這個(gè)地方都是提供比較好的圖形化界面，可以讓用戶定義好某一個(gè)模板配置的時(shí)候，去把它快速部署到剩下幾十臺(tái)幾百臺(tái)節(jié)點(diǎn)上去。
再有，就是到我裝好這個(gè)環(huán)境的時(shí)候，我上面的運(yùn)行狀況我需要監(jiān)控，但實(shí)際上，很多也能夠?qū)崿F(xiàn)分布式的部署，分布式的體系架構(gòu)，支持大數(shù)據(jù)應(yīng)用的一些開(kāi)源產(chǎn)品，本身是不具備這樣的功能的，它只具備核心模塊和核心功能就OK了，其他功能無(wú)法讓企業(yè)級(jí)用戶使用，所以我們做產(chǎn)品的時(shí)候一直是秉承著我能讓用戶用一種傻瓜的方式使用這個(gè)產(chǎn)品。
還有，統(tǒng)一的性能監(jiān)控視圖，可以對(duì)我的各個(gè)需求都統(tǒng)一的表現(xiàn)出來(lái)，我硬盤(pán)使用量，需不需要加硬盤(pán)，都會(huì)提前告訴用戶，信息挖掘最高級(jí)的不就是做預(yù)測(cè)。還有告警信息。
還有對(duì)企業(yè)友好方面，我們也做了大量開(kāi)發(fā)工作，讓它滿足企業(yè)級(jí)的需要。首先就是很多產(chǎn)品架構(gòu)，我們都說(shuō)在云計(jì)算環(huán)境當(dāng)中不需要考慮計(jì)算資源來(lái)自哪里，不需要考慮數(shù)據(jù)來(lái)自哪里，但是對(duì)于傳統(tǒng)運(yùn)維人員來(lái)說(shuō)，他們心里不踏實(shí)，他們非常愿意知道我的東西到底是什么樣的？所以在這個(gè)地方做了很多工作，包括文件瀏覽，再就是分布式數(shù)據(jù)庫(kù)，還有能讓用戶實(shí)現(xiàn)快速數(shù)據(jù)導(dǎo)入，再就是數(shù)據(jù)壓縮，這一點(diǎn)是非常關(guān)鍵的，甚至在天云大數(shù)據(jù)這邊，我們已經(jīng)能簡(jiǎn)單實(shí)現(xiàn)幾種壓縮算法，在我壓縮數(shù)據(jù)之后，還能夠有更好的性能提升，這一點(diǎn)其實(shí)是一個(gè)非常不錯(cuò)的技術(shù)。畢竟我們都知道，壓縮是要消耗系統(tǒng)資源的，很有可能帶來(lái)系統(tǒng)損耗，但是我可以做到越壓縮速度越快，當(dāng)然這是跟固定場(chǎng)景是有區(qū)別的。再就是對(duì)原數(shù)據(jù)字典的管理，也都是會(huì)集成在BDP企業(yè)友好里面的。再就是我這個(gè)工具可以提供大量數(shù)據(jù)存儲(chǔ)，處理，查詢，但是很多技術(shù)隨著變化，很多傳統(tǒng)使用方式已經(jīng)不能完全滿足這樣的要求了，我們提供一種查詢界面，允許用戶輸入他熟悉的SQL，我們會(huì)在底層進(jìn)行數(shù)據(jù)處理，但是又遇到一個(gè)問(wèn)題，轉(zhuǎn)，也要消耗系統(tǒng)資源，所以天云做了大量工作，最終形成了任務(wù)集，我們把很多通用的關(guān)鍵的SQL寫(xiě)法，預(yù)先轉(zhuǎn)好的嵌在里面，這樣就不需要每次都要轉(zhuǎn)，盡可能縮短響應(yīng)時(shí)間。
還有企業(yè)友好度里面，我們也做了很多數(shù)據(jù)操縱方面的工作和設(shè)計(jì)，我數(shù)據(jù)可能來(lái)自各種各樣的地方，各種各樣場(chǎng)景，或者各種各樣的系統(tǒng)，這些數(shù)據(jù)需要快速把它整合在我們BDP平臺(tái)里面去，讓我們?nèi)ビ?，所以在這個(gè)地方，我們?cè)O(shè)計(jì)了很多界面，包括流程定義，流程監(jiān)控，就好象我們使用ETL工具的時(shí)候，設(shè)計(jì)一個(gè)個(gè)數(shù)據(jù)劉德環(huán)節(jié)一樣，每個(gè)環(huán)節(jié)都是可以定義的，每個(gè)環(huán)節(jié)都是可以支持用戶二次開(kāi)發(fā)的。在這樣一個(gè)環(huán)節(jié)當(dāng)中，用戶可以把它串成整個(gè)數(shù)據(jù)操縱流程，包括整個(gè)ETL三個(gè)部分都會(huì)涵蓋在這里面，最終幫我們實(shí)現(xiàn)數(shù)據(jù)就緒的過(guò)程，同時(shí)也提供日志監(jiān)控，看到里面子任務(wù)監(jiān)控到的地步和是否有一些報(bào)錯(cuò)的信息。再有整個(gè)任務(wù)監(jiān)控，配置管理，我們可以形成模板。還有監(jiān)控，數(shù)據(jù)庫(kù)轉(zhuǎn)換等等。
再往后，就是BDA，所有數(shù)據(jù)就緒好了之后，我們肯定要用，剛才也說(shuō)了這些算法，所有算法需要我們?nèi)グ阉页鰜?lái)，我們也會(huì)告訴用戶，在經(jīng)驗(yàn)場(chǎng)景之中，用戶是怎么做行為分析，或者做欺詐行為探測(cè)，以及國(guó)家電網(wǎng)做的智能電表的統(tǒng)計(jì)分析挖掘場(chǎng)景之中，都是可以用到各種各樣的算法，甚至可以幫助用戶爬取數(shù)據(jù)下來(lái)，幫助用戶實(shí)現(xiàn)數(shù)據(jù)更廣度的發(fā)掘，因?yàn)槲覀兪曜鰯?shù)據(jù)倉(cāng)庫(kù)的時(shí)候，都是說(shuō)希望數(shù)據(jù)盡可能完整，但是以前說(shuō)的完整是企業(yè)內(nèi)部數(shù)據(jù)完整，并不包含企業(yè)外部數(shù)據(jù)，我們知道外部數(shù)據(jù)第一體量更大，第二更說(shuō)明問(wèn)題，我們一些客戶做輿情分析，做安全維穩(wěn)分析的時(shí)候，都會(huì)借助大量互聯(lián)網(wǎng)數(shù)據(jù)。這是BDA的這個(gè)模塊，幫助用戶最終獲取他所需要的知識(shí)。
今天這么簡(jiǎn)短的片子，告訴各位天云如何幫助用戶找到數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)，使用數(shù)據(jù)，真正變?cè)茷橛?，謝謝各位。
張福波：今天非常感謝各位嘉賓，也感謝各位參會(huì)者。謝謝大家。