棱鏡門事件以來,NSA的全球監(jiān)控行為遭到各國政府和人民的譴責(zé),但美國情報部門所展現(xiàn)的大數(shù)據(jù)和信息安全技術(shù)實力也成為各國政府甚至一流IT企業(yè)為之“艷羨”的對象。
NSA為代表的美國國家安全和情報機構(gòu)不但在信息安全技術(shù)上領(lǐng)先業(yè)界數(shù)年,而且在大數(shù)據(jù)采集、處理和分析技術(shù)上也讓大數(shù)據(jù)技術(shù)廠商們“驚艷”。事實上,NSA大數(shù)據(jù)項目的規(guī)模、可擴展性、安全性在很多方面甚至超過了Google、亞馬遜和蘋果這樣的大型互聯(lián)網(wǎng)企業(yè)。
NSA旗下的風(fēng)險投資公司In-Q-Tel迄今已經(jīng)投資了200多個云計算、大數(shù)據(jù)、搜索與分析創(chuàng)業(yè)項目(下圖),是美國大數(shù)據(jù)創(chuàng)業(yè)熱潮的最強力推手,因為獲得In-Q-Tel的投資本身還意味著來自政府部門的訂單。
毫不夸張地說,NSA才是美國大數(shù)據(jù)創(chuàng)業(yè)熱潮背后的真正推手。
近日,前NSA工程師創(chuàng)建的數(shù)據(jù)庫創(chuàng)業(yè)公司Sqrrl的首席執(zhí)行官Ely Kahn在Structure Show視頻節(jié)目上解讀了大數(shù)據(jù)技術(shù)如何被應(yīng)用于國家安全。Sqrrl公司的產(chǎn)品基于開源NoSQL數(shù)據(jù)庫系統(tǒng)Accumulo,而Accumulo系統(tǒng)正是創(chuàng)辦Sqrrl的工程師在NSA時開發(fā)的。
Accumulo是PRISM棱鏡項目的核心
據(jù)Kahn的介紹,Accumulo數(shù)據(jù)庫系統(tǒng)是NSA企業(yè)架構(gòu)的核心。大多數(shù)NSA的關(guān)鍵分析應(yīng)用都運行在Accumulo上。“我不能透露具體是哪些應(yīng)用,但人們在新聞中看到的大多數(shù)監(jiān)控和分析應(yīng)用的后臺都是Accumulo。”
Accumulo的性能如此強大,足以配得上對NSA大規(guī)模監(jiān)控行為的各種指責(zé)。從技術(shù)角度看,NSA已經(jīng)能夠識別網(wǎng)絡(luò)上的各種可疑行為和個人,但是NSA還有一個“更大的想法”,Kahn稱之為“生命分析的模式”:
這些都可以歸結(jié)為異常分析,也是我們目前的重點。如何建立一種模式來識別異常和正常?這需要基于對大量應(yīng)用案例的分析…
我們今天的很多工作主要是圍繞圖譜分析(Graph Analytics)進行,建立大規(guī)模分布式的數(shù)據(jù)圖譜——圍繞一個具體的應(yīng)用實例建立正常模式的數(shù)據(jù)圖譜,然后參照這個圖譜查找異常模式。
云計算大數(shù)據(jù)集中,國防部已經(jīng)行動起來
NSA采用的大數(shù)據(jù)處理和分析技術(shù)也適用于整個國防部,NSA的任務(wù)是建設(shè)一個能夠跨部門分享NSA資源的云計算和大數(shù)據(jù)基礎(chǔ)設(shè)施,Accumulo就是這個計劃的一部分,如今國防部希望將所有數(shù)據(jù)——從無人機視頻到醫(yī)療數(shù)據(jù),都匯聚到一個單一的大數(shù)據(jù)分析系統(tǒng)中。
據(jù)Kahn介紹,NSA正在進行中的一個重要項目代號“聯(lián)合信息環(huán)境”(Joint Information Environment),將在建立一個龐大的云計算大數(shù)據(jù)基礎(chǔ)設(shè)施,整合國防部的海量應(yīng)用實例——從網(wǎng)絡(luò)安全、戰(zhàn)場情報系統(tǒng)到醫(yī)療實例無所不包。
你可以不喜歡NSA,但NSA已經(jīng)無可爭議地在科技公司中確立了信息安全和大數(shù)據(jù)技術(shù)領(lǐng)導(dǎo)者的地位。
首個關(guān)鍵基礎(chǔ)設(shè)施信息安全框架規(guī)范出爐
過去幾周美國信息安全行業(yè)最大的利好消息是美國白宮發(fā)布了國家標(biāo)準(zhǔn)技術(shù)研究所(NIST)起草的美國國家信息安全指導(dǎo)規(guī)范《提升美國關(guān)鍵基礎(chǔ)設(shè)施信息安全框架規(guī)范》請登錄下載,這是美國在關(guān)鍵基礎(chǔ)設(shè)施信息安全方面的首個規(guī)范。(編者按:雖然不是強制規(guī)范,但很多方面已經(jīng)有些類似國內(nèi)的等級保護基本要求,因此也有美國媒體指出此規(guī)范有擴大行政監(jiān)管范圍之嫌)。
Kahn認(rèn)為《規(guī)范》是美國國土安全部和NIST通力合作的成果,對推動關(guān)鍵基礎(chǔ)設(shè)施信息安全“邁出了一大步”,但“還遠不夠完美。”因為僅僅符合基礎(chǔ)要求是遠遠不夠的。(編者按:這也與我國的等級保護制度類似,合規(guī)本身并未起到防范重大信息安全事故和網(wǎng)絡(luò)攻擊的作用)
via:ctocio