超參數(shù)種類對于識別表現(xiàn)影響的解釋在圖2(d)中可見。有趣的是,我們觀察的是CNN中,參數(shù)的最一致影響。與我們期待相反的是,圍繞學(xué)習(xí)過程(見表1)的參數(shù)對于表現(xiàn)的影響最大。我們希望對于這一模式而言,擁有多樣選擇結(jié)構(gòu)變體影響會更大。對于DNNs,我們不會觀察任意超參數(shù)種類的系統(tǒng)影響。在PAMAP2中,準(zhǔn)確的學(xué)習(xí)參數(shù)會是最關(guān)鍵的。在OPP中,是模式結(jié)構(gòu)最關(guān)鍵。十分有趣的是,我們觀察到網(wǎng)絡(luò)結(jié)構(gòu)較淺的模式比深度網(wǎng)絡(luò)表現(xiàn)更好。在這一網(wǎng)絡(luò)結(jié)構(gòu)表現(xiàn)中有下降趨勢且?guī)в谐^3層的隱藏層。這可能與我們僅僅只依靠監(jiān)督進(jìn)行訓(xùn)練有關(guān),因為生成訓(xùn)練能提深度網(wǎng)絡(luò)的表現(xiàn)。
在OPP中,基于框架的RNN(LSTM-F)的表現(xiàn)受本次研究中的結(jié)轉(zhuǎn)概率影響。由于經(jīng)常保持內(nèi)在狀態(tài)或是忘記內(nèi)部狀態(tài),這都會導(dǎo)致表現(xiàn)結(jié)果較差。我們發(fā)現(xiàn)0.5的Pcarry在大多數(shù)情況下都表現(xiàn)良好。我們的發(fā)現(xiàn)值得進(jìn)行對轉(zhuǎn)結(jié)時間表進(jìn)行更加深入的研究,這會提高LSTM的表現(xiàn)。
基于樣本實驗的前向LSTMs(LSTM-S)的研究結(jié)果證明了之前的發(fā)現(xiàn),因為對于這種模式其學(xué)習(xí)率是至關(guān)重要的參數(shù)。然而,對于雙向LSTM(b-LSTM-S),我們發(fā)現(xiàn)每一層的單元數(shù)對表現(xiàn)影響重大,所以實驗者應(yīng)重點關(guān)注此類參數(shù)。
6.討論
在本次研究中,我們探索了先進(jìn)深度學(xué)習(xí)方法通過使用便攜式傳感器對人類活動識別的表現(xiàn)。我們介紹了如何在此設(shè)定中訓(xùn)練遞歸方法并引入新穎的規(guī)則化方法。在數(shù)千次實驗中,我們用隨機選擇取樣的參數(shù)對模式的表現(xiàn)進(jìn)行評估。發(fā)現(xiàn)在Opportunity中雙向LSTMs比目前先進(jìn)的方法表現(xiàn)要好,基準(zhǔn)數(shù)據(jù)庫要更大,利潤更可關(guān)。
但是對于研究者而言有趣的,不是每一個模式的峰值性能,而是參數(shù)在適應(yīng)不同HAR任務(wù)時的探索和理解過程。對于時間較短但是按照時間順序發(fā)生的時間理解中,遞歸網(wǎng)絡(luò)模式比卷積模式表現(xiàn)得更好。因為遞歸模式有較好的理解語境能力。對于雙向RNNs,我們發(fā)現(xiàn)在所有的數(shù)據(jù)集中,每一層的單元數(shù)目對表現(xiàn)的影響都很大。對于持續(xù)時間長且是重復(fù)發(fā)生的動作,例如,走路,跑步;我們推薦使用CNNs模式。在此情景中平均表現(xiàn)能讓研究者更容易發(fā)現(xiàn)一個合適的配置,盡管RNNs模式和CNNs 模式表現(xiàn)差不多,甚至是RNNs有時表現(xiàn)的更好。我們強烈建議在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)之前要開始探索學(xué)習(xí)率,因為在我們的試驗中發(fā)現(xiàn)學(xué)習(xí)率對表現(xiàn)的影響最大。
我們發(fā)現(xiàn)在不同的參數(shù)設(shè)置下,模式的識別表現(xiàn)都不一樣。Regular DNNs模式對于研究者來說是最可行的方法,因為它需要進(jìn)行大量的參數(shù)探索,并且在優(yōu)良表現(xiàn)和中等表現(xiàn)之間的跨度較大。所以研究者不應(yīng)舍棄在開始時識別表現(xiàn)較差的模式。更復(fù)雜的方法,例如,CNNs或是RNNs在表現(xiàn)上的差別較小,所以更可能發(fā)現(xiàn)表現(xiàn)較好的參數(shù)并且迭代次數(shù)也少。