大數(shù)據(jù)也好，小數(shù)據(jù)也罷，已經(jīng)有很多的專家討論過運用數(shù)據(jù)到底可以帶來什么價值。只是在這么多的數(shù)據(jù)分析的論述之后，筆者觀察到市場上大多數(shù)人對于數(shù)據(jù)收集與分析仍舊是一頭霧水。很多讀者在給筆者的回饋意見中，筆者最擔(dān)心的是在物聯(lián)網(wǎng)應(yīng)用方案設(shè)計之初的系統(tǒng)架構(gòu)中 (system architecture)，數(shù)據(jù)分析的角色沒有被優(yōu)先對待，以致于相關(guān)方案的設(shè)計只是一大堆硬體的集合 ，自動化或者有之，說好的智慧化則往往消失無蹤。
首先，筆者要澄清一點，數(shù)據(jù)的來源很多，聯(lián)網(wǎng)裝置只是收集數(shù)據(jù)的一種手段，并非只有物聯(lián)網(wǎng)應(yīng)用方案才能搜集資料。舉例來說，傳統(tǒng)的收銀機也在累積數(shù)據(jù)，只是沒有電子存儲裝置，一切都是保留在紙帶上，取用非常不方便，基本上很難用來做精細的營業(yè)分析。直到收銀這個功能與工業(yè)電腦結(jié)合，數(shù)據(jù)開始有了進一步被分析的方便性。
然而，為了加快結(jié)帳速度，現(xiàn)行電子式收銀機能收集的欄位仍有限制，所以如果讀者在結(jié)帳時特別注意，幾乎每一臺電子式收銀機都外掛了不少其他裝置，一開始是幾種信用卡刷卡機，插卡式或感應(yīng)式的不一而足，最近隨著第三方支付的普及，額外的條碼掃描裝置也開始出現(xiàn)。然而這些裝置收集的資料都集中在業(yè)務(wù)成交結(jié)帳時，零售業(yè)者仍舊無從得知每個時點有多少人經(jīng)過門口，多少人走進賣場，更不用說個別顧客繞行路徑，甚或是在每個柜位或貨架前的停留或注視時間。近來隨著資通訊科技與相關(guān)視覺辨識軟體的進步，這些資料搜集都由不可能逐漸變?yōu)榭赡堋?/p>
此外，數(shù)據(jù)分析科技的進步隨著運算與儲存裝置性能提升與價格下滑，數(shù)據(jù)科學(xué)家得以將目光由結(jié)構(gòu)化資料 (structured data) 投向非結(jié)構(gòu)化資料 (unstructured data)。簡單來說，語音與文字資料的記錄得以被分析。首先，傳統(tǒng)客服電話的對談內(nèi)容已經(jīng)可以直接語音轉(zhuǎn)文字，再將透過自然語言處理 (natural language processing, NLP) 文字探勘進行客訴分析，讓客服人員與顧客抱怨的對話內(nèi)容與處理過程都變成顧客檔案 (customer profile) 的一部分。
甚至，為了節(jié)省客服人力，運用相關(guān)數(shù)據(jù)科技開發(fā)出來的聊天機器人 (chatbot) 也應(yīng)運而生。顧客在網(wǎng)站上或在賣場內(nèi)的輸入裝置都可以直接詢問聊天機器人(通常是文字對話)與賣場或商品相關(guān)的資訊。如此一來，不但資料搜集的流程直接進入電腦，聊天機器人甚至可以根據(jù)對話過程主動建議顧客適合的商品。
相比之下，傳統(tǒng)客服人員雖然可以做到更細致的服務(wù)或應(yīng)付更隨機的問題，但人腦記憶容量有限，我們不可能苛責(zé)客服人員記得賣場內(nèi)成千上萬種商品的品名特色或所在位置，更無法期待客服人員隨時調(diào)閱提問顧客的顧客檔案，即時掌握顧客的品味，在對話結(jié)束前的黃金時間內(nèi)做最有效的商品推薦。
非結(jié)構(gòu)化資料的來源還可以是網(wǎng)路上的社群討論或任何內(nèi)容媒體流傳的一篇報導(dǎo)及底下的留言評論。 君不見網(wǎng)路留言的病毒式擴散效果，早已是每一個行銷人員必修課程。不理解粉絲團或網(wǎng)路搜尋優(yōu)化 (searching engine optimization) 威力的行銷人員，想來在公司內(nèi)發(fā)言權(quán)也將逐漸式微。針對網(wǎng)路時代新的行銷宣傳趨勢，網(wǎng)路輿情分析 (social listening/social media monitoring, SL) 早已經(jīng)廣為企業(yè)行銷人員采用。
甚至，居于市場領(lǐng)導(dǎo)地位(或有心急起直追)的廠商，還逐漸了解到市場商情調(diào)查 (market intelligence, MI) 不再是剪刀糨煳加一大堆的研究人員解讀，運用 NLP 開發(fā)的 MI 系統(tǒng)讓市場商情走向的掌握不再是大公司才能擁有的獨門利器。
相對于濫竽充數(shù)的類似產(chǎn)品，優(yōu)秀的數(shù)據(jù)科學(xué)家開發(fā)的 SL 與 MI，可以讓企業(yè)迅速掌握產(chǎn)業(yè)趨勢、發(fā)掘潛力產(chǎn)品或技術(shù)，也可以監(jiān)控網(wǎng)路上意見領(lǐng)袖或重量級媒體報導(dǎo)對于企業(yè)自己或競爭同業(yè)產(chǎn)品的影響，更快速的采取因應(yīng)之道。此外，結(jié)合 SL 與 MI 的精神，精擅 NLP 的資料科學(xué)家還可以開發(fā)出競爭同業(yè)的監(jiān)控方案。
行文至此，讀者可能已經(jīng)體會到"資料爆炸"這個名詞的嚴(yán)重性?？粗羞@個市場潛力的業(yè)者，從傳統(tǒng)系統(tǒng)整合商、標(biāo)榜數(shù)據(jù)分析的軟體開發(fā)商、提供高速資料處理的硬體系統(tǒng)，到物聯(lián)網(wǎng)應(yīng)用方案提供者，大家無不強調(diào)自家開發(fā)的產(chǎn)品或方案能夠為企業(yè)快速處理分析急速增加的資料。在被這些玲瑯滿目的眾多選擇中，企業(yè)應(yīng)該先問自己，資料搜集的目的為何 ; 更精確地說， 企業(yè)希望解決的問題是什么，哪一種或幾種資料可以有效地回答這個待解決問題。