給出形式表達(dá)之后的關(guān)鍵是，如何將其對(duì)應(yīng)到RNN的框架中去。DeepTracking的核心思路是用利用兩個(gè)權(quán)重 WF 和 WP 來分別建模 F(Bt-1, xt)和P(yt|Bt )，將Bt 定義為RNN時(shí)序之間傳遞的memory 信息。此時(shí)，如上圖所示RNN的各個(gè)狀態(tài)和推進(jìn)流程就和跟蹤任務(wù)完美的對(duì)接上了。
實(shí)驗(yàn)部分，DeepTracking采用模擬的2維傳感器數(shù)據(jù)和如上圖所示的3層RNN的網(wǎng)絡(luò)結(jié)構(gòu)，Bt 對(duì)應(yīng)于第三層的網(wǎng)絡(luò)輸出。通過無監(jiān)督的預(yù)測(cè) xt+n 的任務(wù)來使網(wǎng)絡(luò)獲得預(yù)測(cè) yt 的潛在能力。
小結(jié)：DeepTracking作為用RNN建模跟蹤時(shí)序任務(wù)的作品，其亮點(diǎn)主要在對(duì)RNN和貝葉斯框架融合的理論建模上。實(shí)驗(yàn)展示了該方法在模擬場(chǎng)景下的不錯(cuò)效果，但是模擬數(shù)據(jù)和真實(shí)場(chǎng)景差距很大，能否在實(shí)際應(yīng)用中有比較好的表現(xiàn)還有待商榷。
總結(jié)
本文介紹了深度學(xué)習(xí)在目標(biāo)跟蹤領(lǐng)域應(yīng)用的幾種不同思路。三種解決訓(xùn)練數(shù)據(jù)缺失的思路各有千秋，作者認(rèn)為使用序列預(yù)訓(xùn)練的方法更貼合跟蹤任務(wù)的本質(zhì)因此值得關(guān)注(近期也有應(yīng)用Siamese Network和視頻數(shù)據(jù)訓(xùn)練的跟蹤算法涌現(xiàn)，具體參見王乃巖博士在VLASE公眾號(hào)上的介紹文章《Object Tracking新思路》)。總的來說，基于RNN的目標(biāo)跟蹤算法還有很大提升空間。此外，目前已有的深度學(xué)習(xí)目標(biāo)跟蹤方法還很難滿足實(shí)時(shí)性的要求，如何設(shè)計(jì)網(wǎng)絡(luò)和跟蹤流程達(dá)到速度和效果的提升，還有很大的研究空間。
致謝：本文作者特此感謝匿名審稿人和圖森科技首席科學(xué)家王乃巖博士對(duì)本文所提出的建設(shè)性意見。