著手新的IoT(Internet of Things,即物聯(lián)網(wǎng))和大數(shù)據(jù)項目的公司會很嚴格檢查其中涉及的所需處理能力、內(nèi)存、存儲和網(wǎng)絡資源,以及最大化利用產(chǎn)能。
大數(shù)據(jù)和物聯(lián)網(wǎng)項目給IT基礎架構(gòu)帶來了前所未有的壓力。

Internet of Things (IoT) 和大數(shù)據(jù)應用已經(jīng)給網(wǎng)絡和存儲架構(gòu)帶來了壓力,更不用說這還需要IT專家使用不同的技能和工具來管理這些新的部署了。
雖然執(zhí)行起來很有挑戰(zhàn)性,但是也有一些為IT團隊而設的指導方針來幫助他們托管IoT和大數(shù)據(jù)。這得從審查基礎架構(gòu)中大規(guī)模、數(shù)據(jù)密集型的項目需求開始。
更多的處理能力
一旦項目進入到具體的實施階段,IT組織連同它的硬件、軟件和服務供應商很可能需要去定義合適的系統(tǒng)架構(gòu)和操作系統(tǒng),每個系統(tǒng)處理器的數(shù)量以及系統(tǒng)的數(shù)量——不管是物理的、虛擬的還是基于云的——這需要一些主動性。
大數(shù)據(jù)項目大部分是基于Windows或者Linux操作系統(tǒng),架構(gòu)在業(yè)界標準的x86平臺服務器上的。但在一些情況下,也有一些基于大型機或者單一廠商系統(tǒng)架構(gòu)和操作系統(tǒng)的實用的工具。大多數(shù)情況下,IT團隊會將業(yè)界標準的服務器使用scale-out架構(gòu)做成集群,以支持需要大量計算、內(nèi)存、網(wǎng)絡和存儲的負載。
IoT項目也趨向于包含基于單一廠家的后端系統(tǒng)以及大型機。
要最大化可使用的處理能力,同時減少在硬件上的總體投資,需要很好地對系統(tǒng)、集群和其他組件進行配置。這需要很明白企業(yè)的目標以及深入了解所選的大數(shù)據(jù)工具和NoSQL數(shù)據(jù)庫。同樣的,對于選擇與繁雜的不同智能手機、平板、汽車和從未如此擴張的其他智能設備進行通信的工具,也需要有一定的了解。
錯誤配置的服務器集群或者其他基礎架構(gòu)的重大錯失(甚至選擇了錯誤的工具)都可能成為項目操作的阻礙并且導致項目失敗。
有一些后端數(shù)據(jù)分析和報告工具在一個大集群系統(tǒng)里面運行,有一些則通過其他小的集群來支持:一些小集群負責存儲分析需要用的原始數(shù)據(jù),有一些小集群負責提供將原始數(shù)據(jù)處理成有用信息的工具,另一些小集群可能被用來支持將有用的信息轉(zhuǎn)換為適合的格式(表格、圖形或者其他形式),提供給分析師或者數(shù)據(jù)科學家。
IoT項目還需要增加響應客戶設備,提供需求的信息、指導或幫助的功能。企業(yè)需要熟悉這些工具的專家,以及對如何使用這些工具有很全面的了解。
為自己信任的顧問和供應商投入時間,學習對選擇的這些工具和方法進行技術支持需要什么。
對于內(nèi)存、存儲和網(wǎng)絡的關注
僅僅增加更多的系統(tǒng)、內(nèi)存和存儲并不總能提高IoT和大數(shù)據(jù)環(huán)境的綜合性能。不同的方法和工具需要不一樣的系統(tǒng)內(nèi)存和處理能力。
每一種方法和所關聯(lián)的工具都有自己的限制。建設IoT和/或大數(shù)據(jù)平臺的IT規(guī)劃師需要對每一種考慮在內(nèi)的工具所需要的資源進行調(diào)研,同時需要知道在資源充足的情況下他們會使用哪一種工具。
如果企業(yè)安裝了比所選工具所需更多的內(nèi)存,那么這僅僅會增加能源消耗和熱量。非但不會給整體性能帶來任何幫助,反而會給數(shù)據(jù)中心能源和冷卻系統(tǒng)帶來不需要的壓力。
IoT和大數(shù)據(jù)平臺另一個參數(shù)是存儲的性能和容量。就像處理能力和內(nèi)存容量一樣,存儲設備的選擇、存儲的專用能力和存儲的聯(lián)網(wǎng)方式都能對大數(shù)據(jù)產(chǎn)品的優(yōu)化性能有幫助。在IoT技術的例子里,響應速度的快慢將直接影響到客戶是否喜歡這個企業(yè)(產(chǎn)品)。
就和內(nèi)存和計算組件一樣,存儲的配置也必須滿足所選工具和方法的需求。不要指望簡單通過添加更多存儲,選擇更快的設備或者升級存儲網(wǎng)絡來得到效果。即使存儲性能增加了,但是也可能被網(wǎng)絡瓶頸帶來的影響抵消。
有一些大數(shù)據(jù)工具使用額外的內(nèi)存能力作為數(shù)據(jù)存儲的一部分,創(chuàng)造了內(nèi)存里的數(shù)據(jù)庫。這種方法能加速分析和報告的處理。但這是一種需要權(quán)衡的方法,因為如果系統(tǒng)沒有被可依賴的電力保護著,一旦失去電力則數(shù)據(jù)也會丟失。
不要被卷入任何一種存儲或者存儲網(wǎng)絡的炒作中。分析師會指出寄存于內(nèi)存的數(shù)據(jù)庫或者閃存存儲并不會對所有情況都適合。