人工智能早已不是一個(gè)新名詞，它的發(fā)展歷史已經(jīng)有幾十年。從80年代早期開始，當(dāng)時(shí)計(jì)算機(jī)科學(xué)家設(shè)計(jì)出可以學(xué)習(xí)和模仿人類行為的算法。在學(xué)習(xí)方面，最重要的算法是神經(jīng)網(wǎng)絡(luò)，但由于模型過于強(qiáng)大，沒有足夠的數(shù)據(jù)支持，導(dǎo)致不是很成功。然而，在一些更具體的任務(wù)中，使用數(shù)據(jù)來適應(yīng)函數(shù)的想法獲得了巨大的成功，這也構(gòu)成了機(jī)器學(xué)習(xí)的基礎(chǔ)。在模仿方面，人工智能在圖像識(shí)別、語音識(shí)別和自然語言處理方面有著廣泛的應(yīng)用。專家們花費(fèi)了大量時(shí)間去創(chuàng)建邊緣計(jì)算，彩色型材，N-gram語言模型，語法樹等，不料所獲成績(jī)平平。
傳統(tǒng)的機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)(ML)技術(shù)在預(yù)測(cè)中發(fā)揮了重要作用，機(jī)器學(xué)習(xí)已經(jīng)經(jīng)歷了多代，有一套完備的模型結(jié)構(gòu)，如： ·線性回歸
·Logistic回歸
·決策樹
·支持向量機(jī)
·貝葉斯模型
·正則化模型
·集成模型
·神經(jīng)網(wǎng)絡(luò) 每一個(gè)預(yù)測(cè)模型都基于一定的算法結(jié)構(gòu)，參數(shù)可進(jìn)行調(diào)整。訓(xùn)練預(yù)測(cè)模型涉及以下步驟： 1.選擇模型結(jié)構(gòu)(例如，邏輯回歸、隨機(jī)森林等)。
2.用訓(xùn)練數(shù)據(jù)(輸入和輸出)對(duì)模型進(jìn)行反饋。
3.學(xué)習(xí)算法將輸出最優(yōu)模型(即具有特定參數(shù)的模型，使訓(xùn)練誤差最小化)。 每個(gè)模型都有自己的特點(diǎn)，在某些任務(wù)中表現(xiàn)很好，在其他方面也卻不盡人意。但一般來說，我們可以把它們分為低功耗(簡(jiǎn)單)模型和大功率(復(fù)雜)模型。在不同的模型之間進(jìn)行選擇是一個(gè)非常棘手的問題。傳統(tǒng)上，使用低功耗/簡(jiǎn)單模型比使用高功率/復(fù)雜模型要好，原因如下：
·在我們擁有大量的處理能力之前，訓(xùn)練高功率模型需要花費(fèi)很長(zhǎng)時(shí)間。
·直到我們有一個(gè)龐大的數(shù)據(jù)量，培養(yǎng)高功率模型會(huì)導(dǎo)致過擬合問題(由于高功率模型具有豐富的參數(shù)，可以適應(yīng)多種數(shù)據(jù)的形狀，我們可能最終會(huì)訓(xùn)練出一個(gè)與當(dāng)前訓(xùn)練數(shù)據(jù)非常相關(guān)的模型，而不是對(duì)未來數(shù)據(jù)進(jìn)行預(yù)測(cè))。
然而，選擇低功耗模型存在著所謂的"欠擬合"問題，即模型結(jié)構(gòu)過于簡(jiǎn)單，無法在較復(fù)雜的情況下適應(yīng)訓(xùn)練數(shù)據(jù)。(假設(shè)下面的數(shù)據(jù)有一個(gè)二次關(guān)系：y=5*X的平方;沒有方法可以擬合一個(gè)線性回歸：y=A，B，B，B，無論我們選擇什么樣的A和B。)
為了減輕"不適合的問題"，數(shù)據(jù)科學(xué)家通常會(huì)應(yīng)用他們的"領(lǐng)域知識(shí)"來產(chǎn)生"輸入特性"，它與輸出有更直接的關(guān)系。(例如，返回到二次關(guān)系y=5*X的平方)，然后通過選取a=5和b=0，擬合線性回歸。
機(jī)器學(xué)習(xí)的一個(gè)主要障礙是這個(gè)特征工程步驟，它要求領(lǐng)域?qū)＜以谶M(jìn)入培訓(xùn)過程之前識(shí)別重要的信號(hào)。特征工程步驟非常手工，需要大量的領(lǐng)域?qū)ｉT知識(shí)，因此成為當(dāng)今大多數(shù)機(jī)器學(xué)習(xí)任務(wù)的主要瓶頸。換句話說，如果我們沒有足夠的處理能力和足夠的數(shù)據(jù)，那么我們必須使用低功耗/簡(jiǎn)單的模型，這需要我們花大量的時(shí)間和精力來創(chuàng)建適當(dāng)?shù)妮斎胩匦?。這是大多數(shù)數(shù)據(jù)科學(xué)家花時(shí)間做的事情。
神經(jīng)網(wǎng)絡(luò)的回歸
在2000年代早期，隨著大容量數(shù)據(jù)時(shí)代大量的細(xì)粒度事件數(shù)據(jù)的收集，隨著云計(jì)算和大規(guī)模并行處理基礎(chǔ)設(shè)施的進(jìn)步，機(jī)器處理能力得到了極大的提高。我們不再局限于低功耗/簡(jiǎn)單的模型。例如，當(dāng)今最流行的兩種主流機(jī)器學(xué)習(xí)模型是隨機(jī)森林和梯度增強(qiáng)樹。然而，盡管它們都非常強(qiáng)大，并提供非線性模型擬合訓(xùn)練數(shù)據(jù)，數(shù)據(jù)科學(xué)家仍然需要仔細(xì)地創(chuàng)建功能，以達(dá)到良好的性能。
與此同時(shí)，計(jì)算機(jī)科學(xué)家重新使用了許多層的神經(jīng)網(wǎng)絡(luò)來完成這些人類模擬任務(wù)。這給新出生的DNN(深度神經(jīng)網(wǎng)絡(luò))在圖像分類和語音識(shí)別的任務(wù)提供了一個(gè)重大的突破。
DNN的主要區(qū)別是，你可以發(fā)出原信號(hào)，(例如，RGB像素值)直接到DNN沒有創(chuàng)造任何特定于域的輸入特征。通過多層次的神經(jīng)元(這就是為什么它被稱為"深"的神經(jīng)網(wǎng)絡(luò))，能夠自動(dòng)生成相應(yīng)的功能，通過各層最后提供了一個(gè)很好的預(yù)測(cè)。這大大節(jié)省了"特征工程"的努力，也是數(shù)據(jù)科學(xué)家遇到的一個(gè)主要瓶頸。
DNN也演變成許多不同的網(wǎng)絡(luò)結(jié)構(gòu)，所以我們美國(guó)有線電視新聞網(wǎng)(卷積神經(jīng)網(wǎng)絡(luò))，RNN(神經(jīng)網(wǎng)絡(luò))、LSTM(長(zhǎng)短期記憶)、GAN(生成對(duì)抗網(wǎng)絡(luò))，遷移學(xué)習(xí)，注意模型…整個(gè)光譜被稱為"深度學(xué)習(xí)"，這是當(dāng)今全機(jī)器學(xué)習(xí)界關(guān)注的焦點(diǎn)。