上圖省略了不少細(xì)節(jié)內(nèi)容。下圖是一個(gè)時(shí)間片段的完整示意圖，包括了三個(gè)計(jì)算步驟。
看上去有點(diǎn)兒復(fù)雜，所以我們一步步往下看。從較高的層次觀察，我們?nèi)耘f運(yùn)行RNN模型，輸出各個(gè)狀態(tài)的帶權(quán)重組合：
每一步的權(quán)重值由“halting neuron”決定。這個(gè)神經(jīng)元事實(shí)上是一個(gè)sigmoid函數(shù)，輸出一個(gè)終止權(quán)重，可以理解為需要在當(dāng)前步驟終止的概率值。
停止權(quán)重值的總和等于1，每一步結(jié)束后要減去相應(yīng)的值。一旦這個(gè)值小于了epsilon，我們就停止計(jì)算。
當(dāng)訓(xùn)練Adaptive Computation Time模型時(shí)，可以在損失函數(shù)添加一項(xiàng)“ponder cost”，用來懲罰模型的累積計(jì)算時(shí)間。這一項(xiàng)的值越大，就更不傾向于降低計(jì)算時(shí)間。
ACT仍是一個(gè)非常新的概念，但是我們相信它以及其它類似的概念今后一定會(huì)發(fā)揮作用。
代碼
目前開源的ACT代碼貌似只有 Mark Neumann’s (TensorFlow)
展望
在某種程度上，事先有準(zhǔn)備的人會(huì)比兩手空空的人更聰明。我們使用數(shù)學(xué)符號(hào)能解決許多新問題，而我們依靠計(jì)算機(jī)則可以完成更多不可思議的任務(wù)，遠(yuǎn)遠(yuǎn)超出了我們的個(gè)人能力。
一般來說，智慧的表現(xiàn)形式往往是人類啟發(fā)式直覺與更細(xì)膩的媒介的交互過程，比如語言和公式。有時(shí)候，這種媒介是實(shí)實(shí)在在存在的物體，可以用來存儲(chǔ)信息，避免我們犯錯(cuò)誤或是進(jìn)行繁重的計(jì)算任務(wù)。在其它情況下，這種媒介是我們腦子里的模型。無論如何，它似乎是智慧的基礎(chǔ)。
機(jī)器學(xué)習(xí)領(lǐng)域的最新研究成果已經(jīng)帶有這種味道了，將神經(jīng)網(wǎng)絡(luò)的直覺與其他東西結(jié)合。一種方法是所謂的“啟發(fā)式搜索”。例如，AlphaGo ( Silver, et al., 2016 ) 建立了一個(gè)下圍棋的模型，在神經(jīng)網(wǎng)絡(luò)的指導(dǎo)下探索如何進(jìn)行游戲。同樣的，DeepMath ( Alemi, et al., 2016 )利用神經(jīng)網(wǎng)絡(luò)處理數(shù)學(xué)表達(dá)式。我們?cè)诒疚闹刑岬降?ldquo;增強(qiáng)RNN”屬于另一種方法，我們將RNN模型與工程媒介相結(jié)合，以提高它們的泛化能力。
與媒介的互動(dòng)自然會(huì)涉及到一系列的采取行動(dòng)、觀察情況、繼續(xù)行動(dòng)步驟。這就產(chǎn)生了一個(gè)重大的挑戰(zhàn)：我們?nèi)绾螌W(xué)習(xí)該采取哪些行動(dòng)?這聽起來像是一個(gè)強(qiáng)化學(xué)習(xí)的問題，我們當(dāng)然可以采取強(qiáng)化學(xué)習(xí)方法。但是強(qiáng)化學(xué)習(xí)也正在攻堅(jiān)解決這些難題，其解決辦法目前也很難被采用。聚焦的好處在于它讓我們比較輕松地繞開了這個(gè)問題，我們可以不同程度地采取所有行動(dòng)。而強(qiáng)化學(xué)習(xí)只允許我們選擇一條道路，從中學(xué)習(xí)經(jīng)驗(yàn)。聚焦機(jī)制在岔路口會(huì)選擇所有的方向，然后將各條路徑的結(jié)果合并起來。
聚焦機(jī)制的一大弱點(diǎn)就是每一步都需要執(zhí)行一個(gè)“行動(dòng)”。這導(dǎo)致消耗的計(jì)算資源呈線性增長(zhǎng)。有一種解決方式是將聚焦稀疏化，因此只需要處理其中的一部分記憶單元。然而，也許你希望聚焦點(diǎn)是基于記憶單元的，這樣勢(shì)必需要瀏覽所有的內(nèi)存單元，這又帶來了不小的挑戰(zhàn)。我們看到了一些初步的解決方案，例如 Andrychowicz & Kurach, 2016 ，似乎還有很大的提升空間。
增強(qiáng)RNN和其背后的聚焦技術(shù)真的領(lǐng)入興奮。我們期待看到它們?nèi)〉酶蟮倪M(jìn)展!