下一個問題,我們到底怎么才能判斷大數(shù)據(jù)真的對金融或者征信行業(yè)提供了幫助?
我說一個故事,我們招人的時候,我們對于在機器學(xué)習(xí)上有沒有過硬背景是非??粗氐?,但這不是我們唯一考慮的因素。我們曾面試了好幾個美國最好的學(xué)校出來的博士生,我們給他們一組數(shù)據(jù),讓他們在規(guī)定的時間返回結(jié)果,但不告訴他應(yīng)該返回什么結(jié)果,相反,我們讓他們自己定義到底什么樣的結(jié)果才是他們滿意的,為什么定義這樣的指標(biāo)。
事實上,十個里面有八九個都會用“準(zhǔn)確率”來作為衡量算法是否準(zhǔn)確的唯一標(biāo)識,但是,這樣的判斷標(biāo)準(zhǔn)在征信領(lǐng)域是正確的嗎?我既然這么問,顯然答案是不對的。
征信的場景中,有哪些事情是我們看重的?
我舉個例子,有個人說他(放貸)批了10個人,有9個證明是好的,只有一個是壞的,他說他的準(zhǔn)確率90%,你聽完后覺得他的算法是好的嗎?
那么我會告訴你,這個答案不是簡單的是或者而不是,他有一件事沒有告訴你,真正的申請者可能有100個,其中99個是好人,只有1個壞人,而他把那唯一的一個壞人放到了批準(zhǔn)名單里。從這個角度,雖然他批準(zhǔn)的10個人中準(zhǔn)確率是90%,但我們還能說這個結(jié)果還是好的嗎?算法是好的嗎?