從大數(shù)據(jù)中獲得有價值的洞察是每個企業(yè)的愿望，但是無奈理想很豐滿，現(xiàn)實很骨感，再加上大數(shù)據(jù)軟件開發(fā)人員和IT操作缺乏企業(yè)的協(xié)調(diào)，這也使得從大數(shù)據(jù)中獲得洞察變得更加困難。還有的企業(yè)在其支持的其它項目中可能采用了良好的DevOps策略，但是大數(shù)據(jù)項目往往因為各種原因沒有采用。

接下來，本文將來探討一下DevOps是什么、為什么大數(shù)據(jù)項目團隊不使用DevOps方法、使用DevOps的好處以及將大數(shù)據(jù)遷移到DevOps模型時可能會面臨的挑戰(zhàn)。

▲圖片來源于informationweek

什么是DevOps?

首先我們先來了解一下DevOps是什么?為什么它會如此受歡迎?DevOps的主要目的是消除軟件開發(fā)人員和IT基礎(chǔ)架構(gòu)管理員之間的孤島，以確保每個人都可以專注于單一的目標。中間有一些交叉的訓(xùn)練可以會包含所有人都能理解的使用過程很多術(shù)語，但是一旦訓(xùn)練完成，雙方又可以各自以清晰的方向繼續(xù)改進。然后兩個團隊一起測試環(huán)境、調(diào)整生產(chǎn)基礎(chǔ)架構(gòu)組件以滿足新的軟件需求，并最終更快速地為終端用戶提供軟件修復(fù)和功能。

為什么大數(shù)據(jù)項目不喜歡采用DevOps

IT領(lǐng)導(dǎo)者放棄DevOps的主要原因是大數(shù)據(jù)科學(xué)(特別是大數(shù)據(jù)的分析科學(xué)部分)的復(fù)雜性。數(shù)據(jù)科學(xué)是一個比較新的領(lǐng)域，大部分的專家都是外國人，國內(nèi)的數(shù)據(jù)專家很少，所以這也導(dǎo)致了分析師無法和大數(shù)據(jù)開發(fā)商協(xié)同合作。

為什么大數(shù)據(jù)需要DevOps

由于分析師和大數(shù)據(jù)開發(fā)商的分離，DevOps在解決其他效率低下的項目中遇到的瓶頸照樣會出現(xiàn)在大數(shù)據(jù)項目中。由于某些大數(shù)據(jù)項目會比預(yù)期的難度更大，所以IT領(lǐng)導(dǎo)者迫于壓力會越來越想要早點得到結(jié)果，同時這也迫使分析科學(xué)家不斷改進他們的算法。而分析模型發(fā)生的變化往往會和最初的基礎(chǔ)設(shè)施和資源需求有很大的出入，在這個改變的過程中，運營團隊一直被排除在外，所以當(dāng)基礎(chǔ)設(shè)施更改需求給到開發(fā)人員的時候，你就會發(fā)現(xiàn)通信和資源的分配滯后會減緩進度，而且這種放緩會影響大數(shù)據(jù)分析的潛在競爭優(yōu)勢。這也就是為什么大數(shù)據(jù)需要DevOps的原因。

集成大數(shù)據(jù)和DevOps時的挑戰(zhàn)

如果你決定把大數(shù)據(jù)項目遷移到DevOps模型，就一定要了解你將面臨的哪些挑戰(zhàn)。 例如，如何快速打造探索分析和深度分析的大數(shù)據(jù)平臺。

另外，大多數(shù)的專業(yè)分析人士都認為自己是社會工程師，而不是數(shù)據(jù)工程師，所以會有自己要學(xué)習(xí)的事情。如果在你的DevOps計劃中速度是很關(guān)鍵的部分，那么資源協(xié)調(diào)是至關(guān)重要的。還有，大數(shù)據(jù)DevOps的高效運行還需要額外的人力資源，因為DevOps的價值并不是員工的減少，而是發(fā)掘應(yīng)用程序的潛能。

大數(shù)據(jù)和DevOps集成的收益遠遠超過任何其他集成。效率和利益的協(xié)調(diào)有助于簡化流程，加快實時分析變更的能力，從而更有效地利用所挖掘的數(shù)據(jù)。