上世紀(jì)80年代，我長(zhǎng)大了，開始在家中為Commodore VIC-20和Apple等個(gè)人電腦編程。我在大學(xué)里繼續(xù)學(xué)習(xí)計(jì)算機(jī)科學(xué) (CS)，并最終在伯克利獲得博士學(xué)位，我的大部分專業(yè)培訓(xùn)都植根于我稱之為“經(jīng)典”的CS：編程、算法、數(shù)據(jù)結(jié)構(gòu)、系統(tǒng)、編程語(yǔ)言。在經(jīng)典計(jì)算機(jī)科學(xué)中，最終目標(biāo)是將一個(gè)想法簡(jiǎn)化為由Java、C++或Python等語(yǔ)言編寫的程序。經(jīng)典計(jì)算機(jī)科學(xué)中的每一個(gè)思想——無論多么復(fù)雜，從數(shù)據(jù)庫(kù)連接算法到令人難以置信而滑稽的Paxos共識(shí)協(xié)議——都可以表達(dá)為人類可讀、可理解的程序。

上世紀(jì)90年代初，當(dāng)我還在上大學(xué)的時(shí)候，我們還處于AI寒冬的深處，AI作為一個(gè)領(lǐng)域同樣被經(jīng)典算法所主導(dǎo)。我在康奈爾大學(xué)的第一份研究工作是和Dan Huttenlocher一起工作，他是計(jì)算機(jī)視覺領(lǐng)域的領(lǐng)軍人物（現(xiàn)在是麻省理工學(xué)院施瓦茨曼計(jì)算學(xué)院的院長(zhǎng)）。1995年前后，在Huttenlocher 的計(jì)算機(jī)視覺的博士生課程中，我們從未討論過任何類似于深度學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)的東西，而是經(jīng)典算法，如Canny邊緣檢測(cè)、光流和Hausdorff距離。深度學(xué)習(xí)還處于起步階段，還沒有被認(rèn)為是主流人工智能，更不用說主流計(jì)算機(jī)科學(xué)了。

當(dāng)然，這是30年前的事情了，從那時(shí)起發(fā)生了很多變化，但有一件事沒有真正改變——計(jì)算機(jī)科學(xué)是一門“數(shù)據(jù)結(jié)構(gòu)、算法和編程”作為其核心的學(xué)科來教授的。如果再過30年，甚至10年，我們還在用這種方式研究計(jì)算機(jī)科學(xué)，我會(huì)感到驚訝的。事實(shí)上，我認(rèn)為計(jì)算機(jī)科學(xué)作為一個(gè)領(lǐng)域正在經(jīng)歷一個(gè)巨大的變遷——我們中很少有人真正做好了準(zhǔn)備。

編程將被淘汰，我相信“寫程序” 的傳統(tǒng)觀念正在走向消亡。事實(shí)上，除了非常專業(yè)的應(yīng)用，我們所知道的大多數(shù)軟件將被經(jīng)過訓(xùn)練而不是編程的人工智能系統(tǒng)所取代。在需要一個(gè)“簡(jiǎn)單”程序的情況下（畢竟，并不是所有的程序都需要一個(gè)運(yùn)行在GPU集群上、有數(shù)千億個(gè)參數(shù)的大模型），這些程序本身將由人工智能生成，而不是手工編碼。

我不認(rèn)為這個(gè)想法很瘋狂。毫無疑問，從（相對(duì)）原始的電氣工程洞穴中走出的最早的計(jì)算機(jī)科學(xué)先驅(qū)們堅(jiān)信，所有未來的計(jì)算機(jī)科學(xué)家都需要對(duì)半導(dǎo)體、二進(jìn)制算術(shù)和微處理器設(shè)計(jì)有深刻的理解才能理解軟件?？爝M(jìn)到今天，我敢打賭99%的編寫軟件的人幾乎不知道CPU是如何工作的，更不用說晶體管設(shè)計(jì)的物理基礎(chǔ)了。進(jìn)一步地說，我相信未來的計(jì)算機(jī)科學(xué)家將遠(yuǎn)離“軟件”的經(jīng)典定義，他們將很難逆轉(zhuǎn)鏈表或?qū)崿F(xiàn)快速排序。(見鬼，我不確定我是否還記得如何實(shí)現(xiàn)快速排序。)

像CoPilot這樣的AI編碼助手只是觸及了我所描述的內(nèi)容的表面。在我看來，很明顯，未來所有的程序最終都將由AI來編寫，而人類充其量只能扮演監(jiān)督的角色。任何懷疑這一預(yù)測(cè)的人只需看看AI內(nèi)容生成的其他方面（如圖像生成）正在取得的驚人進(jìn)展。DALL-E v1和僅在15個(gè)月后宣布的DALL-E v2在質(zhì)量和復(fù)雜性上的差異是驚人的。如果說我在過去幾年的人工智能工作中學(xué)到了什么，那就是，人們很容易低估日益龐大的人工智能模型的力量。幾個(gè)月前還像是科幻小說的事情正在迅速成為現(xiàn)實(shí)。

（創(chuàng)造出令人驚艷的圖像， https://openai.com/dall-e-2/）

所以，我不只是在談?wù)撓馟ithub的CoPilot[1]取代程序員，而要說的是，用訓(xùn)練模型取代編寫程序的整個(gè)概念。在未來，計(jì)算機(jī)科學(xué)的學(xué)生將不需要學(xué)習(xí)諸如如何向二叉樹添加節(jié)點(diǎn)或C++代碼這樣的平凡技能。這種教育將會(huì)過時(shí)，就像教工程專業(yè)的學(xué)生如何使用計(jì)算尺一樣。

未來的工程師只需敲擊幾下鍵盤，就能啟動(dòng)一個(gè)包含400億億個(gè)參數(shù)（

four-quintillion-parameter）的模型實(shí)例，這個(gè)模型已經(jīng)對(duì)人類知識(shí)的全部范圍(包括子集)進(jìn)行了編碼，并隨時(shí)準(zhǔn)備執(zhí)行機(jī)器要求的任何任務(wù)。讓機(jī)器做我們想做的事情的大部分腦力工作將是提出正確的示例、正確的訓(xùn)練數(shù)據(jù)和正確的方法來評(píng)估訓(xùn)練過程。像基于小樣本學(xué)習(xí)（few-shot learning）且能泛化的、這樣強(qiáng)大的模型只需要執(zhí)行任務(wù)的幾個(gè)好的示例。在大多數(shù)情況下，大規(guī)模的、人工管理的數(shù)據(jù)集將不再是必要的，大多數(shù)人“訓(xùn)練”一個(gè)AI模型將不會(huì)在PyTorch中運(yùn)行梯度下降循環(huán)（gradient descent loops）或類似的東西。他們只是教模型幾個(gè)示例，機(jī)器將完成其余的工作。

在這門新的計(jì)算機(jī)科學(xué)中——如果我們還稱之為計(jì)算機(jī)科學(xué)的話——機(jī)器將如此強(qiáng)大，并且已經(jīng)知道如何做很多事情，這一領(lǐng)域?qū)⒖雌饋聿幌褚粋€(gè)工程領(lǐng)域，而更像一個(gè)教育領(lǐng)域。也就是說，如何最好地教育機(jī)器，就像如何最好地教育學(xué)校里的孩子一樣。不過，與 (人類) 孩子不同的是，這些人工智能系統(tǒng)將駕駛我們的飛機(jī)、運(yùn)行我們的電網(wǎng)，甚至可能統(tǒng)治整個(gè)國(guó)家。我認(rèn)為，當(dāng)我們的注意力轉(zhuǎn)向教授智能機(jī)器而不是直接編程時(shí)，絕大多數(shù)經(jīng)典CS就變得無關(guān)緊要了。傳統(tǒng)意義上的編程實(shí)際上將會(huì)消亡。

我認(rèn)為CS作為一個(gè)領(lǐng)域正在經(jīng)歷一場(chǎng)相當(dāng)大的劇變，我們中很少有人真正做好了準(zhǔn)備。

這一切將如何改變我們對(duì)計(jì)算機(jī)科學(xué)領(lǐng)域的看法?新的原子計(jì)算單元不再是處理器、內(nèi)存和I/O系統(tǒng)，而是一個(gè)大規(guī)模的、預(yù)先訓(xùn)練過的、高度自適應(yīng)的AI模型。這對(duì)我們思考計(jì)算的方式來說是一個(gè)巨大的轉(zhuǎn)變——不再是一個(gè)可預(yù)測(cè)的、靜態(tài)的、受指令集、類型系統(tǒng)和可判定性概念支配的過程?；谌斯ぶ悄艿挠?jì)算早已跨越了靜態(tài)分析和形式證明的界限。我們正在迅速走向這樣一個(gè)世界，在這個(gè)世界里，計(jì)算的基本構(gòu)件是有氣質(zhì)的、神秘的、自適應(yīng)的代理。

沒有人真正了解大型人工智能模型是如何工作的，這一事實(shí)突顯了這種轉(zhuǎn)變。人們發(fā)表的研究論文實(shí)際上發(fā)現(xiàn)了現(xiàn)有大型模型的新行為，即使這些系統(tǒng)是由人類“設(shè)計(jì)”出來的。大型人工智能模型能夠做一些它們沒有受過明確訓(xùn)練的事情，這應(yīng)該會(huì)把Nick Bostrom[2]和其他擔(dān)心超級(jí)智能人工智能橫行的人嚇得魂飛魄滅 (這是正確的)。除了實(shí)證研究，我們目前沒有辦法確定當(dāng)前人工智能系統(tǒng)的局限性。至于未來更大更復(fù)雜的人工智能模型——祝我們好運(yùn)！

對(duì)于任何讀過現(xiàn)代機(jī)器學(xué)習(xí)論文的人來說，焦點(diǎn)從程序到模型的轉(zhuǎn)變應(yīng)該是顯而易見的。這些論文幾乎沒有提到創(chuàng)新背后的代碼或系統(tǒng)：人工智能系統(tǒng)的構(gòu)建模塊是更高層次的抽象，如注意力層（attention layers）、標(biāo)記器（tokenizers）和數(shù)據(jù)集。即使是20年前的時(shí)間旅行者，也很難理解GPT-3論文[3]（描述為該模型構(gòu)建的實(shí)際軟件）的三句話（three sentences）：

“我們使用與GPT-2相同的模型和架構(gòu)，包括其中描述的修改后的初始化、預(yù)歸一化和可逆標(biāo)記化，除了我們?cè)赥ransformer Layer中使用交替的密集和局部稀疏注意力模式，類似于 稀疏矩陣（Sparse Transformer）。為了研究ML性能對(duì)模型大小的依賴關(guān)系，我們訓(xùn)練了8種不同大小的模型，從1.25億個(gè)參數(shù)到1750億個(gè)參數(shù)，范圍超過三個(gè)數(shù)量級(jí)，最后一個(gè)是我們稱之為GPT-3的模型。先前的工作表明，在足夠的訓(xùn)練數(shù)據(jù)下，驗(yàn)證損失的縮放應(yīng)該近似于一個(gè)平滑冪律（power law）作為規(guī)模的函數(shù)。許多不同規(guī)模的訓(xùn)練模型允許我們測(cè)試這個(gè)假設(shè)的驗(yàn)證損失（validation loss）和下游語(yǔ)言任務(wù)。”

計(jì)算基礎(chǔ)定義的這種轉(zhuǎn)變帶來了巨大的機(jī)遇，也帶來了巨大的風(fēng)險(xiǎn)。然而，我認(rèn)為現(xiàn)在是時(shí)候接受這是一個(gè)很有可能的未來，并相應(yīng)地發(fā)展我們的思想，而不是只是坐在這里等待流星撞擊。