Hadoop管理正在成為大數據用戶和供應商首先考慮的分部署處理框架，它在企業(yè)的業(yè)務運營中中扮演著越來越重要角色。
Comcast公司的IT團隊在對Hadoop數據湖泊進行性能管理時，考慮的十分周全。
數據湖泊是一個大量信息的集合體，此外還包括成千上萬的CPU和超過30 pb級的存儲容量。為了保證其平穩(wěn)運行，IT團隊實現了主動Hadoop監(jiān)測和數據治理過程，此外還包括一系列集群管理工具。
“為確保Comcast'的Hadoop用戶可以正常的運行應用程序，我們開始使用數據治理功能，”Michael Fagan說道，他是位于Philadelphia的電視電影集團的首席大數據架構師。管理工作主要包括服務協(xié)議，用于限制業(yè)務單元的Hadoop資源利用率，此外還包括自動化的執(zhí)行機制和月度審核機制，用來評估Hadoop的性
對Hadoop集群使用和數據存儲的管理是一個很熱門的話題，在San Jose, Calif舉辦的Hadoop 2016峰會上，這個話題被廣泛討論。Fagan 和其他演講者認為，對于那些試圖從大數據中獲益的企業(yè)來說，有效的Hadoop管理是必須的。一些供應商正在開發(fā)新技術，旨在實現集群監(jiān)控、管理和治理任務的自動化。
舉例來說，會議的組織者Hortonworks發(fā)布了一個Hadoop的預覽版，它集成了Atlas 和Ranger。Apache開源技術可用于給數據配置元數據，加強用戶訪問權限控制。Hortonworks數據平臺(HDP)2.5版本，將于本月晚些時候發(fā)布，它增加了系統(tǒng)日志的搜索功能，通過使用Apache Ambari（一個開源的Hadoop管理工具），提供了基于角色的訪問控制功能。
Hortonworks的競爭對手MapR Technologies推出了Spyglass Initiative項目的第一個組件——Spyglass Initiative項目旨在創(chuàng)建可定制的儀表板，監(jiān)控大數據平臺。此外，MapR還將發(fā)布更新各種開源工具，作為其平臺季度更新“包”的一部分，以簡化部署流程；第一個MapR Ecosystem Pack 和MapR Monitoring儀表板都將在本月發(fā)布。與此同時，數據集成和分析軟件供應商Pentaho發(fā)布了連接到Hadoop數據湖泊的基礎設施參考藍圖。
Hadoop管理的多個方面
Comcast 在它的數據湖泊上運行HDP和Cloudera的Hadoop分布平臺——在集群管理方面，它使用了集成Ambari的Hortonworks，Cloudera Manager，以及Pepperdata提供的Hadoop性能管理軟件。為了在Hadoop監(jiān)測數據上完成更高級的聚合，該公司還建立了一個本地管理控制臺，稱為Comcast Command Center。
“雖然我們可以從不同的工具中得到很多答案，但我們很難得到一致的答案，”Ray Harrison，Comcast Hadoop平臺團隊的一員說道。
數據湖泊是一個多租戶的數據環(huán)境，各種用戶“聚集到一起，在同一個一沙盒里操作數據，”Harrison說。但是這種方法給性能管理帶來了一定的挑戰(zhàn)。Hadoop團隊今年部署500個節(jié)點的集群，為公司數據科學家的高級分析應用程序服務，但這是必須的，因為這些科學家正在大型數據集努力尋找“未知的未知”，這需要強大的計算能力，現有的資源難以應付，Harrison說道。
為了跟上集群變化的節(jié)奏，Comcast 特意更新了其資源使用的治理策略，“且在過去的一年內更新了數次，”Fagan說到。下一步是數據治理：Hadoop團隊開始推進數據治理項目，依靠Atlas技術來確保每個用戶所使用信息的一致性。
治理為要，科技次之
數據治理是Blue Cross Blue Shield of Michigan的首要任務，該大數據平臺將于五月上線。在會議的另一次會談中，Detroit一家公司的分析主管，數據工程師和數據管理者Beata Puncevic說道，她的團隊在2015年4月，項目初期就首先開始著手制定新的數據治理流程和策略，而真正開始實施技術細節(jié)已經是五個月之后的事了。
“如果你在部署大數據工具之前，沒有制定一個強有力的數據治理過程，你很有可能會步履維艱”Puncevic說道。數據治理涉及如下步驟，根據常見數據定義，創(chuàng)建業(yè)務術語表，制定數據使用的新規(guī)則，解決數據質量和元數據管理的問題。“上面說的這些都很無聊”她開玩笑道。“我們一開始做的這些工作與具體技術無關。”
原始數據被輸入到Hortonworks-based Hadoop集群，然后根據數據治理機制進行精煉，以供分析。該系統(tǒng)最初被用來支持的分析應用程序包括用藥和臨床病例記錄系統(tǒng)，Puncevic補充說，這可能需要額外三到五年才能完全建立起大數據架構。
Hadoop監(jiān)測和治理在University of Texas MD Anderson Cancer Center的大數據待辦事項上優(yōu)先級很高 ，他們在3月份將一個運行HDP的Hadoop集群投入了生產環(huán)境。這家位于Houston的癌癥治療和研究機構使用集群存儲一些重要的統(tǒng)計數據，這些數據收集于病人的床邊傳感器；大數據平臺的其他用途還包括對不同實驗室數據系統(tǒng)的集成，這些實驗室在以前是完全獨立的，沒有任何聯(lián)系。