如果大數(shù)據(jù)不加以管理，其將變成累贅。那些企業(yè)愿意每天通過他們的網(wǎng)絡(luò)去獲取、分析、存儲(chǔ)巨量的信息流，幸運(yùn)的是，他們能從這里面獲得獨(dú)特的見解和可重復(fù)的模式。雖然大數(shù)據(jù)工具仍然處于起步階段，預(yù)計(jì)這個(gè)行業(yè)將在未來幾年大幅增長(zhǎng)，公司乘他們的大數(shù)據(jù)還沒有發(fā)展到不可管理的階段開始投資，他們將獲得長(zhǎng)期回報(bào)。

以下是關(guān)于什么是大數(shù)據(jù)經(jīng)常被問到問題，它為什么是一個(gè)問題，以及如何使它成為是一個(gè)資源。

什么是大數(shù)據(jù)？

大數(shù)據(jù)是一個(gè)公司累積的大量并且在高速增長(zhǎng)的結(jié)構(gòu)化和非結(jié)構(gòu)化的信息。大數(shù)據(jù)可以是有價(jià)值的資源或成為昂貴的問題，這取決于它是如何被管理的。如果用于分析，大數(shù)據(jù)提供業(yè)務(wù)趨勢(shì)和模式洞察。然而，如果無人看管，它將浪費(fèi)昂貴的存儲(chǔ)，并且要查找特定的信息，將變得異常困難，這可能會(huì)在審核事件中相當(dāng)重要。

什么是大數(shù)據(jù)相關(guān)的主要挑戰(zhàn)？

SearchSOA網(wǎng)站編輯Maxine Giza,在她關(guān)于大數(shù)據(jù)問題和解決方案的文章中提到，大數(shù)據(jù)的主要挑戰(zhàn)有3個(gè)V:數(shù)量（volume），速度（velocity）和種類（variety）。數(shù)量是需要管理，分析，存儲(chǔ)和保護(hù)的巨量信息。速度是指數(shù)據(jù)流必須高速采集并且處理。種類是指許多不同類型的數(shù)據(jù)在已經(jīng)相當(dāng)艱巨的任務(wù)上進(jìn)一步增加復(fù)雜性。

如何緩解這些挑戰(zhàn)？

使用像Hadoop這類的大數(shù)據(jù)工具是管理大量數(shù)據(jù)的一種方式。Hadoop是一個(gè)支持海量數(shù)據(jù)集和數(shù)據(jù)傳輸?shù)拈_源編程框架。它的流媒體技術(shù)能夠以它流入的速度捕獲和存儲(chǔ)信息。設(shè)計(jì)模式是另一種幫助減少一些與大數(shù)據(jù)相關(guān)復(fù)雜度的方式。他們提供模板解決方案，用于解決大數(shù)據(jù)管理中反復(fù)出現(xiàn)的問題。采用多種目標(biāo)導(dǎo)向的設(shè)計(jì)模式，開發(fā)人員可以混搭半結(jié)構(gòu)化數(shù)據(jù)，發(fā)現(xiàn)事件序列信號(hào)，實(shí)時(shí)響應(yīng)信號(hào)模式并匹配基于云計(jì)算的數(shù)據(jù)服務(wù)。

大數(shù)據(jù)將如何影響各行業(yè)？

據(jù)Gartner公司研究，大數(shù)據(jù)技術(shù)將在未來幾年急速發(fā)展。 Gartner研究預(yù)測(cè)，到2015年，大數(shù)據(jù)計(jì)劃將創(chuàng)造440萬的IT工作崗位。即使是現(xiàn)在，Gartner調(diào)查發(fā)現(xiàn)，500 個(gè)IT管理人員中的40%投資或?qū)⑼顿Y于大數(shù)據(jù)技術(shù)。

在開發(fā)大數(shù)據(jù)應(yīng)用程序時(shí)我應(yīng)該用SOA還是REST?

這對(duì)于架構(gòu)師在構(gòu)建大數(shù)據(jù)應(yīng)用的時(shí)候，是一個(gè)非常重要的考慮因素。大數(shù)據(jù)工具通常有RESTful和SOA相結(jié)合的應(yīng)用程序編程接口（API）。這使得了解對(duì)于應(yīng)用來說哪一個(gè)最適合變得更加困難。在Tom Nolle的大數(shù)據(jù)應(yīng)用文章中，建議架構(gòu)師在使用大數(shù)據(jù)做具體分析的場(chǎng)景中利用SOA.對(duì)于應(yīng)用程序來說，大數(shù)據(jù)作為一個(gè)資源集合，但不打算利用高層次的服務(wù)，那么基于REST的接口是比較合適的。安全性也是一個(gè)考慮因素。 SOA安全性可以集成到應(yīng)用程序的訪問控制和用戶目錄。在表述性狀態(tài)轉(zhuǎn)移，REST,另一方面，安全性將需要外部訪問。

是否有一個(gè)特定的技能組合是大數(shù)據(jù)管理所必須的？

因?yàn)榇髷?shù)據(jù)繼續(xù)呈現(xiàn)增長(zhǎng)勢(shì)頭， 所以對(duì)新興角色數(shù)據(jù)科學(xué)家的需求很可能會(huì)越來越多。會(huì)這樣難度技術(shù)的人才很難找，因?yàn)樗枰碌募夹g(shù)，比如Hadoop和Cassandra,熟悉數(shù)據(jù)所在領(lǐng)域，并且擁有創(chuàng)造性分析和解決問題的能力。

via： TechTarget