最近,關于大數據的討論此起彼伏,企業(yè)也越來越關注大數據的管理問題。但事實上,很多企業(yè)并沒有真正理解什么是大數據,也沒有部署相關工具去有效地管理它們。
“很多人都不理解究竟什么是大數據,因為并沒有明確的定義,大家都感到很困惑。”LogLogic公司首席營銷官Mandeep Khera這樣說。最近,LogLogic與IT安全研究公司Echelon> “大數據是大量的非結構數據。如果管理得當,我們能從大數據中挖掘出有效信息,幫助企業(yè)解決安全、運營和法規(guī)遵從等問題。所有企業(yè)都正在從企業(yè)內部各種來源以及云基礎設施中收集越來越多的數據,而很多企業(yè)還沒有使用正確的工具和流程來管理這些數據。如果這種模式繼續(xù)下去,我們將會看到,這樣做的企業(yè)會遠遠落于人后,因為他們無法獲取對系統(tǒng)洞察力,從而幫助企業(yè)做出明智的決定。”Khera解釋說。
在此次調查中,62%受訪者表示他們已經在管理1TB以上的數據,以后還會有更多數據。全球數據量正在以瘋狂的速度增長。據稱,目前存在的90%數據來自于過去的兩年間,這些數據來自傳感器、交易記錄、圖像和視頻、社交媒體、日志等。
這就是大數據。如果正確使用大數據,它將為你提供夢寐以求的情報和洞察力。在安全方面,它可以讓你看到網絡中正在發(fā)生的事情,以保護企業(yè)免受高級持續(xù)性威脅和惡意軟件。同時,還能通過優(yōu)化服務器和供應鏈管理來提高運營效率。它甚至還可以幫助你處理法規(guī)遵從的問題。
Khera表示,控制大數據的關鍵之一是日志管理,日志管理能夠整合來自企業(yè)范圍內的所有日志,建立索引存儲庫,并以常見的用戶界面顯示。要利用這些數據,需要具備數據規(guī)范化和關聯(lián)化,以及報告和發(fā)送告警的能力。
2012年2月,LogLogic委托IANS對其日志數據管理和法規(guī)遵從產品進行信息安全投資分析(簡稱為ISIA)。在走訪了幾位存在大數據處理問題的LogLogic客戶后,IANS表示:“大數據的日志管理與一般數據的日志管理之間主要區(qū)別是,如何管理規(guī)模龐大的日志信息。如果沒有簡單易用的用戶界面或者提供快速訪問的索引存儲庫,幾乎不可能從數據漩渦中找出有效情報。大數據管理解決方案必須跟上新信息產生的速度。這對于告警方面尤為重要,如果索引時間太長,關鍵的告警消息將被延遲,從而會造成嚴重問題。”
現(xiàn)實的情況是,目前只有54%的受訪者使用日志管理解決方案來管理日志數據。很多企業(yè)使用系統(tǒng)日志(syslog)或者電子表格進行日志管理,而LogLogic的調查顯示,33%的受訪者沒有對日志進行管理。大數據管理任重而道遠。