我們可以考慮一下數(shù)據(jù)流。首先需要捕獲這些數(shù)據(jù)流里面的數(shù)據(jù)，數(shù)據(jù)流可以來自不同的設(shè)備，必須通過某些方式進(jìn)行獲取，并且存儲(chǔ)起來，而且存儲(chǔ)的數(shù)據(jù)中心也是超大的，可能有10萬臺(tái)服務(wù)器或者是100萬個(gè)硬盤。當(dāng)然，有些數(shù)據(jù)是放在比較少的幾個(gè)數(shù)據(jù)服務(wù)器上，但這幾個(gè)數(shù)據(jù)服務(wù)器的性能是非常強(qiáng)大的，這主要是跟數(shù)據(jù)的復(fù)雜性以及數(shù)據(jù)的數(shù)量有關(guān)。我們要根據(jù)數(shù)據(jù)的特性來搭建這種數(shù)據(jù)流的架構(gòu)。當(dāng)然，這主要取決于數(shù)據(jù)分析的需求，比如你是想實(shí)時(shí)的進(jìn)行數(shù)據(jù)分析，還是不進(jìn)行實(shí)時(shí)分析。
首先是智能網(wǎng)絡(luò)的使用，我們現(xiàn)在必須認(rèn)識(shí)到捕獲的數(shù)據(jù)越來越多，需要對(duì)數(shù)據(jù)進(jìn)行評(píng)判，這個(gè)數(shù)據(jù)的重要性是怎樣的，有的時(shí)候需要評(píng)判這個(gè)數(shù)據(jù)的價(jià)值是多少。在網(wǎng)絡(luò)上，隨著數(shù)據(jù)流的流入就能夠判斷這個(gè)數(shù)據(jù)的類型。這就意味著我們需要更多的智能網(wǎng)絡(luò)，以便對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)的判斷。
同時(shí)，我們還需要處理各種不同的數(shù)據(jù)格式。在這個(gè)方面，其他的公司也在研究這個(gè)方面的問題。我們LSI開發(fā)了一種多核處理器，除了多核處理器以外，我們還提供了具備處理功能的硬件，這個(gè)硬件能夠評(píng)判這個(gè)數(shù)據(jù)到底是什么樣的格式，比如它是不是視頻數(shù)據(jù)，以及這個(gè)數(shù)據(jù)是要實(shí)時(shí)應(yīng)用，還是這個(gè)數(shù)據(jù)只是支持視頻聊天的數(shù)據(jù)類型。也就是說這個(gè)硬件是智能的，將經(jīng)過認(rèn)證的數(shù)據(jù)分成若干類型進(jìn)行實(shí)時(shí)分類，并且進(jìn)行初步的智能判斷。在接下來的兩到三年，兩個(gè)比較大的網(wǎng)絡(luò)公司就會(huì)采用我們這種技術(shù)。所以我也相信通過智能硬件的使用，網(wǎng)絡(luò)流量會(huì)降低50%，大大節(jié)省帶寬。
還有一點(diǎn)是關(guān)于靈活性。我們處理的數(shù)據(jù)量非常大，而且是存儲(chǔ)在非常大的數(shù)據(jù)中心當(dāng)中，其中有特別多的硬盤，硬盤損壞是了不得的事情，我們必須使這個(gè)硬盤的復(fù)原性非常好。現(xiàn)在數(shù)據(jù)中心頭疼的問題就是希望保證一定量的硬盤在工作的狀態(tài)，而且也不希望它們的性能受到任何影響。
我們今天是使用一種特殊的存儲(chǔ)技術(shù)，我們可以對(duì)數(shù)據(jù)進(jìn)行定位，了解到它存在哪個(gè)服務(wù)器當(dāng)中。但是，傳統(tǒng)的方式是依靠存儲(chǔ)的物理位置。現(xiàn)在，我們需要通過一個(gè)機(jī)架服務(wù)器將分布在不同服務(wù)器上的數(shù)據(jù)進(jìn)行整合，這樣就可以提高數(shù)據(jù)的備份能力。