作者經(jīng)過(guò)研發(fā)多個(gè)大數(shù)據(jù)產(chǎn)品，將自己形成關(guān)于大數(shù)據(jù)知識(shí)體系的干貨分享出來(lái)，希望給大家能夠快速建立起大數(shù)據(jù)產(chǎn)品的體系思路，讓大家系統(tǒng)性學(xué)習(xí)和了解有關(guān)大數(shù)據(jù)的設(shè)計(jì)架構(gòu)。
很多人都看過(guò)不同類(lèi)型的書(shū)，也接觸過(guò)很多有關(guān)大數(shù)據(jù)方面的文章，但都是很零散不成系統(tǒng)，對(duì)自己也沒(méi)有起到多大的作用，所以作者第一時(shí)間，帶大家從整體體系思路上，了解大數(shù)據(jù)產(chǎn)品設(shè)計(jì)架構(gòu)和技術(shù)策略。
大數(shù)據(jù)產(chǎn)品，從系統(tǒng)性和體系思路上來(lái)做，主要分為五步：
針對(duì)前端不同渠道進(jìn)行數(shù)據(jù)埋點(diǎn)，然后根據(jù)不同渠道的采集多維數(shù)據(jù)，也就是做大數(shù)據(jù)的第一步，沒(méi)有全量數(shù)據(jù)，何談大數(shù)據(jù)分析;
第二步，基于采集回來(lái)的多維度數(shù)據(jù)，采用ETL對(duì)其各類(lèi)數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理及加載;
然后第三步，對(duì)于ETL處理后的標(biāo)準(zhǔn)化結(jié)構(gòu)數(shù)據(jù)，建立數(shù)據(jù)存儲(chǔ)管理子系統(tǒng)，歸集到底層數(shù)據(jù)倉(cāng)庫(kù)，這一步很關(guān)鍵，基于數(shù)據(jù)倉(cāng)庫(kù)，對(duì)其內(nèi)部數(shù)據(jù)分解成基礎(chǔ)的同類(lèi)數(shù)據(jù)集市;
然后基于歸集分解的不同數(shù)據(jù)集市，利用各類(lèi)R函數(shù)包對(duì)其數(shù)據(jù)集進(jìn)行數(shù)據(jù)建模和各類(lèi)算法設(shè)計(jì)，里面算法是需要自己設(shè)計(jì)，個(gè)別算法可以用R函數(shù)，這個(gè)過(guò)程產(chǎn)品和運(yùn)營(yíng)參與最多;這一步做好了，也是很多公司用戶畫(huà)像系統(tǒng)的底層。
最后根據(jù)建立的各類(lèi)數(shù)據(jù)模型及算法，結(jié)合前端不同渠道不同業(yè)務(wù)特征，根據(jù)渠道觸點(diǎn)自動(dòng)匹配后端模型自動(dòng)展現(xiàn)用戶個(gè)性化產(chǎn)品和服務(wù)。
建立系統(tǒng)性數(shù)據(jù)采集指標(biāo)體系
建立數(shù)據(jù)采集分析指標(biāo)體系是形成營(yíng)銷(xiāo)數(shù)據(jù)集市的基礎(chǔ)，也是營(yíng)銷(xiāo)數(shù)據(jù)集市覆蓋用戶行為數(shù)據(jù)廣度和深度的前提，數(shù)據(jù)采集分析體系要包含用戶全活動(dòng)行為觸點(diǎn)數(shù)據(jù)，用戶結(jié)構(gòu)化相關(guān)數(shù)據(jù)及非結(jié)構(gòu)化相關(guān)數(shù)據(jù)，根據(jù)數(shù)據(jù)分析指標(biāo)體系才能歸類(lèi)匯總形成篩選用戶條件的屬性和屬性值，也是發(fā)現(xiàn)新的營(yíng)銷(xiāo)事件的基礎(chǔ)。
構(gòu)建營(yíng)銷(xiāo)數(shù)據(jù)指標(biāo)分析模型，完善升級(jí)數(shù)據(jù)指標(biāo)采集，依托用戶全流程行為觸點(diǎn)，建立用戶行為消費(fèi)特征和個(gè)體屬性，從用戶行為分析、商業(yè)經(jīng)營(yíng)數(shù)據(jù)分析、營(yíng)銷(xiāo)數(shù)據(jù)分析三個(gè)維度，形成用戶行為特征分析模型。用戶維度數(shù)據(jù)指標(biāo)是不同維度分析要素與用戶全生命周期軌跡各觸點(diǎn)的二維交叉得出。
目前做大數(shù)據(jù)平臺(tái)的公司，大多數(shù)采集的數(shù)據(jù)指標(biāo)和輸出的可視化報(bào)表，都存在幾個(gè)關(guān)鍵問(wèn)題：
采集的數(shù)據(jù)都是以渠道、日期、地區(qū)統(tǒng)計(jì)，無(wú)法定位到具體每個(gè)用戶;
計(jì)算統(tǒng)計(jì)出的數(shù)據(jù)都是規(guī)模數(shù)據(jù)，針對(duì)規(guī)模數(shù)據(jù)進(jìn)行挖掘分析，無(wú)法支持;
數(shù)據(jù)無(wú)法支撐系統(tǒng)做用戶獲客、留存、營(yíng)銷(xiāo)推送使用;
所以，要使系統(tǒng)采集的數(shù)據(jù)指標(biāo)能夠支持平臺(tái)前端的個(gè)性化行為分析，必須圍繞用戶為主線來(lái)進(jìn)行畫(huà)像設(shè)計(jì)，在初期可視化報(bào)表成果基礎(chǔ)上，將統(tǒng)計(jì)出來(lái)的不同規(guī)模數(shù)據(jù)，細(xì)分定位到每個(gè)用戶，使每個(gè)數(shù)據(jù)都有一個(gè)用戶歸屬。
將分散無(wú)序的統(tǒng)計(jì)數(shù)據(jù)，在依據(jù)用戶來(lái)銜接起來(lái)，在現(xiàn)有產(chǎn)品界面上，每個(gè)統(tǒng)計(jì)數(shù)據(jù)都增加一個(gè)標(biāo)簽，點(diǎn)擊標(biāo)簽，可以展示對(duì)應(yīng)每個(gè)用戶的行為數(shù)據(jù)，同時(shí)可以鏈接到其他統(tǒng)計(jì)數(shù)據(jù)頁(yè)面。
由此可以推導(dǎo)出，以用戶為主線來(lái)建立數(shù)據(jù)采集指標(biāo)維度：用戶身份信息、用戶社會(huì)生活信息、用戶資產(chǎn)信息、用戶行為偏好信息、用戶購(gòu)物偏好、用戶價(jià)值、用戶反饋、用戶忠誠(chéng)度等多個(gè)維度，依據(jù)建立的采集數(shù)據(jù)維度，可以細(xì)分到數(shù)據(jù)指標(biāo)或數(shù)據(jù)屬性項(xiàng)。
① 用戶身份信息維度
性別，年齡，星座，居住城市，活躍區(qū)域，證件信息，學(xué)歷，收入，健康等。
② 用戶社會(huì)生活信息維度
行業(yè)，職業(yè)，是否有孩子，孩子年齡，車(chē)輛，住房性質(zhì)，通信情況，流量使用情況……
③ 用戶行為偏好信息
是否有網(wǎng)購(gòu)行為，風(fēng)險(xiǎn)敏感度，價(jià)格敏感度，品牌敏感度，收益敏感度，產(chǎn)品偏好，渠道偏好……
④ 用戶購(gòu)物偏好信息
品類(lèi)偏好，產(chǎn)品偏好，購(gòu)物頻次，瀏覽偏好，營(yíng)銷(xiāo)廣告喜好，購(gòu)物時(shí)間偏好，單次購(gòu)物最高金額……
⑤ 用戶反饋信息維度
用戶參與的活動(dòng)，參與的討論，收藏的產(chǎn)品，購(gòu)買(mǎi)過(guò)的商品，推薦過(guò)的產(chǎn)品，評(píng)論過(guò)的產(chǎn)品……
