具體而言，應(yīng)用層面的安全要考慮一些比較新的版本來(lái)搭建大數(shù)據(jù)平臺(tái)，如果是已有平臺(tái)，可以使用Cloudera Sentry、DataStax Enterpris、Accumulo這一類(lèi)應(yīng)用安全的加強(qiáng)。日志的統(tǒng)一監(jiān)控可以使用Apache Oozie。
由于大數(shù)據(jù)平臺(tái)具有較多的集群服務(wù)器，物理位置可能分布式，所以需要在運(yùn)維安全上考慮加固，使用統(tǒng)一的、最小化權(quán)限的版本進(jìn)行自動(dòng)化配置。
大數(shù)據(jù)平臺(tái)的賬戶(hù)管理也是重要的一部分。密碼強(qiáng)壯度的控制、離職休假員工的賬戶(hù)回收、登錄失敗限制，對(duì)賬戶(hù)的監(jiān)控等等日常工作需要定期審計(jì)。
但最核心的內(nèi)容，是做好安全域管理，做好邊界防控，把大數(shù)據(jù)平臺(tái)在內(nèi)部盒子里運(yùn)轉(zhuǎn)。
2.2敏感數(shù)據(jù)保護(hù)
大型金融集團(tuán)里，大數(shù)據(jù)會(huì)包括來(lái)自各種內(nèi)外部機(jī)構(gòu)的數(shù)據(jù)?？赡軙?huì)包括保險(xiǎn)、銀行、證券、支付等多種機(jī)構(gòu)，而這其中每個(gè)機(jī)構(gòu)都面臨著不同的行業(yè)監(jiān)管要求，同時(shí)又需要有各種的機(jī)構(gòu)訪(fǎng)問(wèn)。
種種數(shù)據(jù)的行業(yè)要求，加上產(chǎn)品經(jīng)理、開(kāi)發(fā)等各業(yè)務(wù)單元的訪(fǎng)問(wèn)，每個(gè)數(shù)據(jù)表甚至字段的訪(fǎng)問(wèn)，都需要建立在個(gè)案分析的基礎(chǔ)上進(jìn)行安全控制。
因此首先要對(duì)數(shù)據(jù)進(jìn)行分類(lèi)分級(jí)管理，如下圖。一般的分類(lèi)分級(jí)可以參照傳統(tǒng)安全做法，并無(wú)太大區(qū)別。
但要注意由于大數(shù)據(jù)的來(lái)源非常豐富，不能僅靠人工去判定數(shù)據(jù)級(jí)別，需要有自動(dòng)發(fā)現(xiàn)敏感數(shù)據(jù)的工具，市面上有一些通用工具可以用，但從長(zhǎng)遠(yuǎn)來(lái)看，數(shù)據(jù)發(fā)現(xiàn)還需要有自己可定義的工具為佳。
對(duì)數(shù)據(jù)的分級(jí)，不僅要考慮到表，還要到字段級(jí)別的授權(quán)。除此之外還有數(shù)據(jù)融合的問(wèn)題，基于業(yè)務(wù)的需要，例如在風(fēng)控領(lǐng)域需要對(duì)用戶(hù)畫(huà)像，就需要綜合多個(gè)類(lèi)別級(jí)別的數(shù)據(jù)進(jìn)行開(kāi)發(fā)，多個(gè)數(shù)據(jù)融合的時(shí)候，對(duì)數(shù)據(jù)的控制要按照最高級(jí)來(lái)進(jìn)行。
2.3數(shù)據(jù)脫敏
大數(shù)據(jù)平臺(tái)最終是為業(yè)務(wù)服務(wù)的，在產(chǎn)品的生產(chǎn)過(guò)程中，多個(gè)團(tuán)隊(duì)都需要使用大數(shù)據(jù)平臺(tái)進(jìn)行分析、開(kāi)發(fā)、測(cè)試工作。大數(shù)據(jù)平臺(tái)中包含了大量敏感數(shù)據(jù)，如何能夠既不影響業(yè)務(wù)開(kāi)發(fā)，又能保障安全性，這就需要進(jìn)行數(shù)據(jù)脫敏。
脫敏有幾件事情要做，首先關(guān)鍵表關(guān)鍵字段的脫敏。這部分比較容易理解，例如用戶(hù)的password，這就是無(wú)論何時(shí)都不能展示的。在有些行業(yè)，銀行卡號(hào)、身份證等信息都需要脫敏。所謂脫敏是指隱去這些信息。
但是，脫敏不能簡(jiǎn)單的將關(guān)鍵信息用星號(hào)脫敏，如果一張表的name字段全是*，業(yè)務(wù)分析就無(wú)法進(jìn)行了，這就需要有一個(gè)替換和映射。替換和映射的意思是：
真實(shí)的：張三，手機(jī)13900000000，身份證9999999999999
替換后：李四，手機(jī)13999999999，身份證1111111111111
而在系統(tǒng)內(nèi)部則要建立兩者之間的映射關(guān)系。這方面市場(chǎng)上也有產(chǎn)品提供，但對(duì)于大型機(jī)構(gòu)來(lái)說(shuō)，通用型產(chǎn)品遠(yuǎn)遠(yuǎn)不能滿(mǎn)足需要，大型機(jī)構(gòu)建議自行開(kāi)發(fā)。
其次但某些業(yè)務(wù)的需要，例如風(fēng)控案件調(diào)查，一定是需要欺詐分子的真實(shí)信息，脫敏后案件就無(wú)法跟蹤下去了，這就需要有控制的對(duì)部分人員開(kāi)放敏感數(shù)據(jù)，又要保證這些數(shù)據(jù)不會(huì)出去。
這種控制方法，一般是建立一個(gè)分析集群虛擬機(jī)，辦公網(wǎng)通過(guò)堡壘機(jī)跳轉(zhuǎn)，在虛機(jī)上進(jìn)行操作，虛機(jī)集群則無(wú)法與外界建立聯(lián)系。當(dāng)然也可以選擇在辦公終端上進(jìn)行嚴(yán)格終端控制，但終端層面風(fēng)險(xiǎn)敞口較大，很難做到完全控制。
同時(shí)，分析結(jié)果在很多情況下，需要對(duì)外輸出。例如奪寶活動(dòng)獲獎(jiǎng)用戶(hù)清單，需要LIST清單進(jìn)行獎(jiǎng)勵(lì)寄送，這就需要在封閉的集群中有統(tǒng)一出口。出口需要經(jīng)過(guò)業(yè)務(wù)主管、安全團(tuán)隊(duì)審批，并經(jīng)過(guò)加密輸出，確保即使該文件被泄露，別人也無(wú)法打開(kāi)內(nèi)容。
2.4 數(shù)據(jù)產(chǎn)品輸出
大多數(shù)數(shù)據(jù)會(huì)加工成產(chǎn)品對(duì)內(nèi)外輸出。有用在內(nèi)部經(jīng)營(yíng)數(shù)據(jù)分析的產(chǎn)品，有向外部組織提供的數(shù)據(jù)接口，有應(yīng)用產(chǎn)品。
所有類(lèi)型的輸出，都需要安全團(tuán)隊(duì)參與評(píng)審。而絕大多數(shù)情況下，都不需要輸出明細(xì)數(shù)據(jù)，在理解對(duì)方業(yè)務(wù)需求的基礎(chǔ)上進(jìn)行標(biāo)簽化可以滿(mǎn)足多數(shù)場(chǎng)景的需求。
例如，某基金業(yè)務(wù)的資金變化展示，這種只是匯總型的數(shù)據(jù)，可以在大數(shù)據(jù)平臺(tái)計(jì)算完畢后輸出。再比如資金對(duì)賬數(shù)據(jù)，可以通過(guò)接口性質(zhì)輸出，禁止人工對(duì)賬，通過(guò)在鑒權(quán)、加密上的控制來(lái)保證安全。