獲取用戶的反饋
在 LinkedIn，我們是一個(gè)“用戶至上”的組織，意味著我們相信應(yīng)該讓用戶的聲音來引導(dǎo)我們的產(chǎn)品設(shè)計(jì)。為了優(yōu)化算法來盡可能交付最好的用戶體驗(yàn)，我們想了解哪些認(rèn)證的用戶評(píng)價(jià)最高。
我們提供了一個(gè)功能，讓會(huì)員可以在應(yīng)用內(nèi)對(duì)收到的新認(rèn)證通知予以反饋。我們會(huì)問一些問題，類似于“它與你的技能的關(guān)聯(lián)度有多少?”、“這個(gè)認(rèn)證價(jià)值幾何?”等。這些調(diào)查遵循 LinkedIn 嚴(yán)格的隱私政策，收集到的數(shù)據(jù)僅僅用于提升我們的模型。
用反饋來構(gòu)建一個(gè)目標(biāo)指標(biāo)
我們開發(fā)一個(gè)目標(biāo)指標(biāo)的目的是捕獲那些能為用戶的技能提供有價(jià)值的確認(rèn)的認(rèn)證。根據(jù)我們獲得的用戶反饋，我們注意到認(rèn)證通常來自于那些同時(shí)知道此接受者和此技能的推薦人。
為了定義更為具體的目標(biāo)指標(biāo)，最開始我們選擇了關(guān)于推薦人、接受人和他們的關(guān)系的80多種對(duì)定義有用的候選指標(biāo)。
這些特性，與回應(yīng)相結(jié)合，能夠讓我們將不同的特性與我們通過產(chǎn)品內(nèi)的反饋接收到的積極信號(hào)關(guān)聯(lián)起來。使用各種各樣的機(jī)器學(xué)習(xí)算法，我們最終識(shí)別出了最有用的12種信號(hào)。
識(shí)別高評(píng)價(jià)認(rèn)證最高特性的信號(hào)流程
為了開發(fā)一個(gè)有用的指標(biāo)來衡量認(rèn)證系統(tǒng)的健康狀態(tài)，并引導(dǎo)產(chǎn)品研發(fā)，我們希望這個(gè)定義是準(zhǔn)確的、直觀的和全面的。
準(zhǔn)確的 意味著它與用戶調(diào)查反饋是強(qiáng)相關(guān)的。
直觀的 意味著它與我們的產(chǎn)品直觀相符，并易于和用戶溝通。
全面的 意味著它能捕獲到廣泛的高評(píng)價(jià)認(rèn)證。
我們沒有直接使用機(jī)器學(xué)習(xí)模型作為我們的定義，因?yàn)楸M管它是準(zhǔn)確的和全面的，卻不夠直觀。相反，我們找到了一個(gè)更簡(jiǎn)單的定義，并且它與調(diào)查數(shù)據(jù)相符。從最高的12個(gè)特性中，我們開始創(chuàng)建高評(píng)價(jià)認(rèn)證的候選定義。例如，我們可以認(rèn)為高評(píng)價(jià)的認(rèn)證是那些由在這個(gè)技術(shù)領(lǐng)域是專家的同事給出的認(rèn)證。對(duì)于每一個(gè)候選定義，我們會(huì)關(guān)注它的查全率和與人類理解它的精確度。
在這個(gè)過程結(jié)束時(shí)，我們開發(fā)出了一個(gè)目標(biāo)認(rèn)證指標(biāo)，它被描述如下：
一個(gè)同時(shí)知道這個(gè)人和這項(xiàng)技術(shù)的關(guān)系人做出的認(rèn)證是高評(píng)價(jià)的認(rèn)證。
對(duì)于定義的每個(gè)部分(了解這項(xiàng)技術(shù)和了解這個(gè)人)，我們基于由機(jī)器學(xué)習(xí)結(jié)果支持的直觀臨界值確定了它們各自的頂部信號(hào)的閾值。下周我們將討論 LinkedIn 服務(wù)認(rèn)證的新后端架構(gòu)。