為Spark架構(gòu)提升可移動性
Synchronoss Technologies公司同樣將其大數(shù)據(jù)環(huán)境集中在Spark上。“我們非常將Spark作為我們的數(shù)據(jù)處理引擎，” Bridgewater, N.J.公司的大數(shù)據(jù)分析師Suren Nathan說，該公司給移動網(wǎng)絡(luò)運(yùn)營商和合作企業(yè)出售移動管理應(yīng)用程序和相關(guān)的分析服務(wù)。
大數(shù)據(jù)實(shí)現(xiàn)還包括運(yùn)行了MapR分布的Hadoop集群;它起源于Razorsight Corp.,這是一家Synchronoss在2015年八月收購的分析提供商。Nathan負(fù)責(zé)Razorsight的部署工作，他說Spark最初是在幾個主要批處理應(yīng)用程序上作為MapReduce的更快替代品來使用的。這包括ETL數(shù)據(jù)集成工作，以及給Synchronoss分析團(tuán)隊(duì)提供該公司從其客戶端收集的設(shè)備，網(wǎng)絡(luò)和操作數(shù)據(jù)認(rèn)知的數(shù)據(jù)分析項(xiàng)目。
但Synchronoss正在尋求對Spark架構(gòu)的使用進(jìn)行擴(kuò)展以用于更加實(shí)時的處理領(lǐng)域。到今年年底為止，它計(jì)劃為諸如追蹤移動設(shè)備使用的應(yīng)用程序添加Spark Streaming，這樣營銷產(chǎn)品就能在事件發(fā)生點(diǎn)發(fā)送給客戶，Nathan說。接下來他預(yù)計(jì)在2017年轉(zhuǎn)向MLlib，這是Spark的集群學(xué)習(xí)庫，用于自動分析應(yīng)用程序——例如，檢測公司網(wǎng)絡(luò)中的欺詐活動和對移動設(shè)備安全政策的違反。
除了用Python和Java來編寫應(yīng)用程序代碼，Synchronoss還可以通過該軟件的Spark SQL模塊來進(jìn)行SQL編程。在其周圍的核心引擎和組件中，對于企業(yè)的大數(shù)據(jù)處理需求來說，Spark平臺是一種一站式服務(wù)，Nathan說。“如果我們不使用Spark，那么我們就必須對所有這些東西使用一項(xiàng)不同的技術(shù)。”