在該工作中，我們應(yīng)用了三種不同設(shè)置的遞歸網(wǎng)絡(luò)，每一種都使用adagrad和max-in規(guī)則進(jìn)行訓(xùn)練以便最小化陰性似然。
在第一種情況下，在任何給定的時(shí)間t輸入到網(wǎng)絡(luò)的輸入數(shù)據(jù)，都對(duì)應(yīng)當(dāng)前幀的運(yùn)動(dòng)數(shù)據(jù)，它延伸到一個(gè)特定的時(shí)間長(zhǎng)度，并且維度也被級(jí)聯(lián)(如前面的DNN一樣)。我們將該模型稱之為L(zhǎng)STM-F。前饋LSTMs達(dá)到第二種應(yīng)用情況，代表了實(shí)時(shí)的應(yīng)用，其中提出的每一個(gè)移動(dòng)數(shù)據(jù)采樣都是針對(duì)于他們記錄序列中的網(wǎng)絡(luò)，稱之為L(zhǎng)STM-S。最后場(chǎng)景中，對(duì)于同樣的樣本到樣本預(yù)測(cè)問(wèn)題，應(yīng)用了雙向LSTMs。我稱之為L(zhǎng)STM-S。
3.4對(duì)于HAR訓(xùn)練RNNs
RNNs相同的應(yīng)用，包括演講識(shí)別和自然語(yǔ)言處理。在這種設(shè)定下，輸入的上下文(例如，一個(gè)單詞)受限于它周圍的實(shí)體(例如，句子，段落)。訓(xùn)練RNNs時(shí)，通常把上下文的實(shí)體看成一個(gè)整體，例如在一個(gè)完整的句子中訓(xùn)練RNN。
在HAR中，移動(dòng)數(shù)據(jù)個(gè)體樣本的上下文沒(méi)有得到很好的定義，至少，超越了鄰近樣本之間的直接關(guān)系，并且好像還取決于移動(dòng)的類型和它更廣泛的行為情景。這是該領(lǐng)域眾所周知的事，并且它會(huì)影響選擇滑動(dòng)窗口分割的窗口長(zhǎng)度。
對(duì)于建立用于訓(xùn)練RNN的b批梯度下降，我們?cè)陂_(kāi)始和結(jié)束訓(xùn)練集中，初始化了多個(gè)位置(pi)b。對(duì)于建立批梯度下降，我們采用了L樣本跟隨(pi)b中的每個(gè)位置，并且增加L步長(zhǎng)的(pi)b，它可能纏繞到該序列結(jié)束。我們發(fā)現(xiàn)隨機(jī)初始化位置以避免梯度振蕩是非常重要的。當(dāng)這個(gè)方法保留對(duì)RNN提出的樣品排序時(shí)，它不允許每一個(gè)批梯度下降層，都關(guān)于類-分布。
4.實(shí)驗(yàn)
實(shí)驗(yàn)中研究的不同種類的超參數(shù)在表1中列出。最后一列表示了每個(gè)數(shù)據(jù)集采樣的參數(shù)配置的數(shù)目，它們被挑選出來(lái)代表一個(gè)相等量的計(jì)算時(shí)間。我們?cè)谌齻€(gè)代表了HAR典型問(wèn)題的基準(zhǔn)數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)(下文進(jìn)行描述)。實(shí)驗(yàn)是在一個(gè)有著3個(gè)GPUs (NVidia GTX980 Ti)的機(jī)器上進(jìn)行，其中除了最大的網(wǎng)絡(luò)，兩個(gè)模型配置都在不同的GPU上運(yùn)行。
在每次訓(xùn)練之后，我們都在驗(yàn)證集中進(jìn)行性能評(píng)估。每個(gè)模型都訓(xùn)練了至少30次，其中最大的是300次。訓(xùn)練30次之后，如果在10次后驗(yàn)證性能沒(méi)有得到提升，便終止訓(xùn)練。我們選擇了顯示最優(yōu)驗(yàn)證集性能的次數(shù)，并且將對(duì)應(yīng)的模型應(yīng)用到測(cè)試集中。
4.1數(shù)據(jù)集
實(shí)驗(yàn)中，我們研究了三個(gè)在普適計(jì)算中具有代表性的HAR數(shù)據(jù)集。每一個(gè)數(shù)據(jù)集都對(duì)應(yīng)一個(gè)HAR的應(yīng)用。第一個(gè)數(shù)據(jù)集，Opportunity，它包含如開(kāi)門和關(guān)門的操控手勢(shì)，這種手勢(shì)持續(xù)時(shí)間段，而且是不重復(fù)的。第二個(gè)數(shù)據(jù)集，PAMAP2，它包含了典型的系統(tǒng)特征——長(zhǎng)時(shí)間和重復(fù)的物理運(yùn)動(dòng)，這其目的是描述能源支出。第三個(gè)數(shù)據(jù)集，Daphnet Gait，對(duì)應(yīng)一個(gè)醫(yī)療應(yīng)用，它參與展現(xiàn)了一個(gè)典型帕金森氏病中的運(yùn)動(dòng)并發(fā)癥，眾所周知該疾病有著非常大的整體變化性。接下來(lái)我們?cè)敿?xì)的描述每個(gè)數(shù)據(jù)集。
Opportunity數(shù)據(jù)集(Opp)
Chavarriaga等人，用4個(gè)參與者——被要求進(jìn)行相同的廚房活動(dòng)，身上傳感器的數(shù)據(jù)組成了注釋記錄。數(shù)據(jù)是在頻率為30Hz的情況下，從人體12地方記錄到的，并且用了18個(gè)中級(jí)手勢(shì)進(jìn)行了注釋(例如，開(kāi)門/關(guān)門)。每個(gè)對(duì)象，都從五個(gè)不同的方式進(jìn)行了數(shù)據(jù)記錄。我們使用的子集，沒(méi)有丟失任何的數(shù)據(jù)包——包括加速的記錄，如抬手臂，放回，和腳部完整的IMU數(shù)據(jù)。最終數(shù)據(jù)是79維度的。我們使用了對(duì)象1中的第2關(guān)作為我們的驗(yàn)證集，并且通過(guò)使用我們測(cè)試集中對(duì)象2和3的第4和第5關(guān)，復(fù)制最流行的識(shí)別挑戰(zhàn)。剩余的數(shù)據(jù)被用于訓(xùn)練。對(duì)于幀到幀的分析，我們創(chuàng)造了持續(xù)時(shí)間為1秒和重疊部分為50%的滑動(dòng)窗口。最終的訓(xùn)練集包含大概650k的樣本(43k的幀)。
PAMAP2數(shù)據(jù)集
Reiss和Strickere，在被要求進(jìn)行12項(xiàng)日常生活的9個(gè)參與者中，進(jìn)行了數(shù)據(jù)記錄，包括家庭活動(dòng)和各種各樣的活動(dòng)(北歐散步，踢足球，等)。加速度計(jì)，陀螺儀，磁力計(jì)，溫度，心率數(shù)據(jù)都是由位于手，胸部和腳踝的慣性測(cè)量單位記錄的(總共超過(guò)了10個(gè)小時(shí))。最終的數(shù)據(jù)是52維度的。我們?cè)隍?yàn)證集中使用了對(duì)象5的第1和第2關(guān)，在測(cè)試集中使用對(duì)象6的第1和第2關(guān)。剩余的數(shù)據(jù)用于訓(xùn)練。在分析中，我們向下采樣計(jì)算器到33.3Hz，以便與Opportunity數(shù)據(jù)集有一個(gè)時(shí)間分辨率的比較。對(duì)于從幀到幀分析，我們用一個(gè)5.12秒的非重疊滑動(dòng)窗口——它的相鄰窗口之間持續(xù)時(shí)間為一秒(78%重疊)，復(fù)制以前的工作。該訓(xùn)練集包括大概473k的樣本(14k的幀)。