Martin Leach在大數(shù)據(jù)工作方面非常忙碌。他曾作為MIT和哈佛大學聯(lián)合開辦的Broad研究所的CIO，在那里，他要負責13PB數(shù)據(jù)的存儲，使用超級計算機進行計算。他和他的團隊為人類基因圖繪制工作做出了卓越貢獻。
在研究所之前，他團隊所支持的研究小組為醫(yī)藥巨頭默克公司研發(fā)。現(xiàn)在，他的新職務是生物技術(shù)公司Biogen 的IT研發(fā)副總裁，目前，他一些數(shù)據(jù)科學家編入團隊。這只團隊通過大數(shù)據(jù)分析處理保障Biogen 公司的研發(fā)。
在他離開非營利組織Broad生物研究所前，我們的編輯采訪到Leach。他介紹了CIO在大數(shù)據(jù)方面所面臨的困境，以及處理大數(shù)據(jù)所需要的技術(shù)和能力。Leach表示，企業(yè)大數(shù)據(jù)分析的投資已經(jīng)由最初的200萬美元上升到400萬美元，很少專家愿意使用開源工具工作。而最不被重視的數(shù)據(jù)科學家往往能為企業(yè)找到真正有用的數(shù)據(jù)。
問：你曾經(jīng)作為CIO們的咨詢顧問，在企業(yè)建設大數(shù)據(jù)基礎設施時提供建議，你通常都會有哪些建議？
Leach：最開始的階段是要確認企業(yè)的大數(shù)據(jù)項目計劃是什么。做這個項目的最大需求是什么，這是開始階段最重要的問題，絕不是考慮什么技術(shù)或者需要采購什么項目。
問：在Broad研究所的時候，他們做大數(shù)據(jù)項目最大的需求是什么？
Leach：當時最大的需求是解決內(nèi)部數(shù)據(jù)的產(chǎn)生、消化以及存儲問題。那個時候在公共機構(gòu)，比如Broad和私人機構(gòu)之間是有一個競爭的，看誰能做出人類基因圖。因為有這樣的外部驅(qū)動力，所以，我們考慮的都是如何把項目做的更快一些。我們當時要么慢下來，要么放棄這個工程，要么尋找到更快項目實施方法。
這對我來說，無疑是個挑戰(zhàn)，尤其我對生物技術(shù)至今都了解不多。他們將一些實驗外包出去，并將生成的數(shù)據(jù)傳輸過來，突然間，他們就會有數(shù)以萬億字節(jié)的數(shù)據(jù)需要傳輸，他們會有這樣的疑問：“我該往那種硬盤里存放數(shù)據(jù)？我如何獲取這些數(shù)據(jù)？我計算這些數(shù)據(jù)時要放置在哪里？我又該如何去計算呢？” 我在一群生命科學家那里看到的是他們對數(shù)據(jù)處理有非常強烈的需求，他們的第一個問題是：“我如何處理這些數(shù)據(jù)？又該放在哪里？”
問：那他們存放在哪里？
Leach： 很多公司會放置在公司內(nèi)部。但有些公司會放在云端，但這些數(shù)據(jù)量很小也不會常用。生命科學領域的數(shù)據(jù)通常包括遺傳學與基因組學資料、藥物信息或者病人記錄，如果存放在防火墻之外會有很多憂慮。
所以，當你確定為什么需要數(shù)據(jù)后，下一個工作就是考慮如何存放他們。再下一個就是如何利用計算機處理數(shù)據(jù)。那是需要在內(nèi)部計算機內(nèi)存儲處理呢，還是放置在云端，比如亞馬遜上，需要時再拿回來處理？這就涉及到大家的另一個猜想，為什么數(shù)據(jù)需要首先在內(nèi)部處理呢？
問：獲取數(shù)據(jù)簡單嗎？
Leach：真正的獲取過程并不簡單?？紤]到傳輸速度，有些公司會從云端傳輸。有些則使用硬盤傳輸。這里面涉及到很多問題，比如，你從波士頓獲取數(shù)據(jù)，但你的數(shù)據(jù)中心在北卡羅來納州，我需要解決的問題是，我該如何將幾百億字節(jié)的數(shù)據(jù)通過公司網(wǎng)絡傳到服務器上，為此我還要做哪些工作？
問：公司如何處理數(shù)據(jù)的獲取？
Leach：有些情況下，研究基于硬盤上的一堆數(shù)據(jù)，企業(yè)就會消極對待傳往服務器上的數(shù)據(jù)。有些情況，企業(yè)試圖在內(nèi)部網(wǎng)絡中使用數(shù)據(jù)，進而影響內(nèi)部網(wǎng)絡，因為他們會將數(shù)據(jù)轉(zhuǎn)移到典型的企業(yè)數(shù)據(jù)網(wǎng)絡而不是數(shù)據(jù)中心。另外一些則是和IT部門緊密合作。
這部分取決于企業(yè)其他部門如何與 IT部門合作。我認為網(wǎng)絡限速器是為了讓其他部門更好地與IT部門合作，也是為了保證IT部門的足夠靈活性。這類的項目并不是傳統(tǒng)意義上標準的IT基礎設施。嘗試在Oracle數(shù)據(jù)庫上研發(fā)大數(shù)據(jù)，Oracle會建議你購買一些外部硬件，但你需要數(shù)據(jù)庫專家，這些專家不僅懂得常規(guī)數(shù)據(jù)庫關(guān)系，也要了解NoSQL、CouchDB、 MongoDB等等。
接下來就是如何找到一群高素質(zhì)的人才，他們可熟練運用現(xiàn)在的開源技術(shù)產(chǎn)品，比如Hadoop、OpenStack之類。人才對于團隊來說至關(guān)重要，我常常聽到同行們的抱怨：“我該去哪里找到真正的千里馬？”
問：CIO們會去哪些領域?qū)ふ胰瞬牛?/p>
問：我從eBay的CTO那里了解到，一個重要的領域就是經(jīng)濟學家。經(jīng)濟學家喜歡在數(shù)據(jù)中尋找金礦，他們也喜歡用數(shù)據(jù)去解決深層次問題。有一群突然意識到大數(shù)據(jù)的經(jīng)濟學家會說：哇，我們從來沒有處理過這種水平的數(shù)據(jù)。