在過(guò)去的十年里，AI系統(tǒng)發(fā)展的速度令人驚嘆。

(資料圖)

2016年AlphaGo在圍棋比賽中擊敗李世石，就是一個(gè)開(kāi)始。現(xiàn)在，AI已經(jīng)可以比人類(lèi)更好地識(shí)別圖像和語(yǔ)音，通過(guò)商學(xué)院考試，以及亞馬遜的編程面試題。

就在上周，美國(guó)參議院司法委員會(huì)開(kāi)展了關(guān)于監(jiān)管AI的聽(tīng)證會(huì)。

在會(huì)上，著名AI初創(chuàng)公司Anthropic的CEO Dario Amodei表示說(shuō)：了解AI最重要的一件事，就是知道它的發(fā)展速度有多快。

最近，《時(shí)代周刊》就發(fā)了一篇文章，用四張圖告訴我們，AI的發(fā)展速度為什么不會(huì)放緩。

人類(lèi)正在被AI超越

如今，AI在許多任務(wù)中超越了人類(lèi)，人類(lèi)在新任務(wù)中被超越的速度也在增加。

下圖是SOTA模型在基準(zhǔn)測(cè)試上相對(duì)于人類(lèi)的表現(xiàn)。

測(cè)試的能力分別是手寫(xiě)識(shí)別（MNIST）、語(yǔ)音識(shí)別（Switchboard）、圖像識(shí)別（ImageNet）、閱讀理解（SQuAD 1.1 & SQuAD 2.0）、語(yǔ)言理解（GLUE）、常識(shí)完成（HellaSwag）、小學(xué)數(shù)學(xué)（GSK8k）、代碼生成（HumanEval）。

人類(lèi)的表現(xiàn)被設(shè)定為100%

人們通常會(huì)認(rèn)為，科學(xué)和技術(shù)進(jìn)步在根本上是不可預(yù)測(cè)的，驅(qū)動(dòng)它們的是一種在事后才變得更清晰的洞察力。

但我們可以預(yù)見(jiàn)，AI系統(tǒng)的進(jìn)步是由三個(gè)輸入（計(jì)算、數(shù)據(jù)和算法）的進(jìn)步推動(dòng)的。

過(guò)去70年的大部分進(jìn)步，都是研究人員使用更大的算力訓(xùn)練AI系統(tǒng)的結(jié)果。

系統(tǒng)被提供了更多數(shù)據(jù)，或者存在更強(qiáng)的算法，有效地減少了獲得相同結(jié)果所需的計(jì)算或數(shù)據(jù)量。

只要了解這三個(gè)因素在過(guò)去是如何推動(dòng)了人工智能的進(jìn)步，我們就會(huì)理解為什么大多數(shù)AI從業(yè)者預(yù)計(jì)AI的進(jìn)展不會(huì)放緩。

計(jì)算量的增加

第一個(gè)人工神經(jīng)網(wǎng)絡(luò)Perceptron Mark I開(kāi)發(fā)于1957年，它可以分辨一張卡片的標(biāo)記是在左側(cè)還是右側(cè)。

擁有1000個(gè)人工神經(jīng)元的Mark I，訓(xùn)練一次大概需要7x10^5次操作。

而70多年后OpenAI發(fā)布的大語(yǔ)言模型GPT-4，訓(xùn)練一次大概需要21x10^24次操作。

計(jì)算量的增加，不僅讓AI系統(tǒng)可以從更多的數(shù)據(jù)中學(xué)到更多的示例，而且還可以更詳細(xì)地對(duì)變量之間的關(guān)系進(jìn)行建模，從而得出更準(zhǔn)確、更細(xì)致的結(jié)論。

自1965年以來(lái)，摩爾定律（集成電路中的晶體管數(shù)量大約每?jī)赡攴环┮馕吨懔Φ膬r(jià)格一直在穩(wěn)步下降。

不過(guò)，研究機(jī)構(gòu)Epoch的主任Jaime Sevilla表示，這時(shí)的研究人員更專(zhuān)注于開(kāi)發(fā)構(gòu)建AI系統(tǒng)的新技術(shù)，而不是關(guān)注使用多少計(jì)算來(lái)訓(xùn)練這些系統(tǒng)。

然而，情況在2010年左右發(fā)生了變化——研究人員發(fā)現(xiàn)「訓(xùn)練模型越大，表現(xiàn)效果越好」。

從那時(shí)起，他們便開(kāi)始花費(fèi)越來(lái)越多的資金，來(lái)訓(xùn)練規(guī)模更大的模型。

訓(xùn)練AI系統(tǒng)需要昂貴的專(zhuān)用芯片，開(kāi)發(fā)者要么構(gòu)建自己的計(jì)算基礎(chǔ)設(shè)施，要么向云計(jì)算服務(wù)商付費(fèi)，訪問(wèn)他們的基礎(chǔ)設(shè)施。

隨著這一支出的不斷增長(zhǎng)，再加上摩爾定律帶來(lái)的成本下降，AI模型也能夠在越來(lái)越強(qiáng)大的算力上進(jìn)行訓(xùn)練。

據(jù)OpenAI CEO Sam Altman透露，GPT-4的訓(xùn)練成本超過(guò)了1億美元。

作為業(yè)界的兩個(gè)頂流，OpenAI和Anthropic已經(jīng)分別從投資者那里籌集了數(shù)十億美元，用于支付訓(xùn)練AI系統(tǒng)的計(jì)算費(fèi)用，并各自與財(cái)力雄厚的科技巨頭（微軟、谷歌）建立了合作伙伴關(guān)系。

自1950年以來(lái)，用于訓(xùn)練AI系統(tǒng)的計(jì)算量一直在增加；到2010年，增長(zhǎng)率也增加了

數(shù)據(jù)量的增長(zhǎng)

AI系統(tǒng)的工作原理是，構(gòu)建訓(xùn)練數(shù)據(jù)中變量之間的關(guān)系模型。

無(wú)論是單詞「home」與單詞「run」相鄰的可能性，還是基因序列與蛋白質(zhì)折疊之間的模式，即蛋白質(zhì)以其三維形態(tài)取得功能的過(guò)程。

一般來(lái)說(shuō)，數(shù)據(jù)越多AI系統(tǒng)就有越多信息來(lái)建立數(shù)據(jù)中變量之間準(zhǔn)確的關(guān)系模型，從而提高性能。

例如，一個(gè)被提供更多文本的語(yǔ)言模型將擁有更多以「run」跟隨「home」出現(xiàn)的句子示例。因?yàn)樵诿枋霭羟虮荣惢驈?qiáng)調(diào)成功的句子中，這種詞序更為常見(jiàn)。

關(guān)于Perceptron Mark I的原始研究論文指出，它僅使用了六個(gè)數(shù)據(jù)點(diǎn)進(jìn)行訓(xùn)練。

論文地址：https://blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdf

相比之下，由Meta在2023年發(fā)布的大語(yǔ)言模型LLaMA，則使用了約10億個(gè)數(shù)據(jù)點(diǎn)進(jìn)行訓(xùn)練——比Perceptron Mark I增加了超過(guò)1.6億倍。

其中，這些數(shù)據(jù)包括，67%的Common Crawl數(shù)據(jù)，4.5％的GitHub，以及4.5％的維基百科。

在過(guò)去的70年中，用于訓(xùn)練AI模型的數(shù)據(jù)量急劇增加

訓(xùn)練數(shù)據(jù)大小是指用于訓(xùn)練AI模型的數(shù)據(jù)量，表示可供模型學(xué)習(xí)的示例數(shù)。

每個(gè)領(lǐng)域都有一個(gè)特定的數(shù)據(jù)點(diǎn)輸入單元，例如用于訓(xùn)練視覺(jué)模型的圖像、用于語(yǔ)言模型的單詞，和用于游戲模型的時(shí)間步長(zhǎng)。這意味著系統(tǒng)只能在同一領(lǐng)域內(nèi)進(jìn)行比較。

算法的進(jìn)步

算法是定義要執(zhí)行的操作序列的規(guī)則或指令集，它決定了AI系統(tǒng)如何準(zhǔn)確地利用算力來(lái)建模給定的數(shù)據(jù)之間的關(guān)系。

除了使用越來(lái)越多的算力在更多數(shù)據(jù)上訓(xùn)練AI之外，研究人員還在尋找在尋找如何用更少的資源獲得更多的效益。

Epoch的研究發(fā)現(xiàn)，「每九個(gè)月，更好的算法的引入，相當(dāng)于讓計(jì)算預(yù)算翻番?！?/p>

訓(xùn)練模型的帕累托邊界，以實(shí)現(xiàn)知名模型隨時(shí)間推移的性能

而算法進(jìn)步也就是意味著，模型可以憑借著更少的計(jì)算和數(shù)據(jù)，達(dá)到相同的性能水平。

下圖是在六個(gè)不同年份中，在圖像識(shí)別測(cè)試中達(dá)到80.9%的準(zhǔn)確度所需的計(jì)算量和數(shù)據(jù)點(diǎn)數(shù)。

對(duì)于在1萬(wàn)億個(gè)數(shù)據(jù)點(diǎn)上訓(xùn)練的模型，2021年訓(xùn)練的模型所需的計(jì)算量比2012年訓(xùn)練的模型少~16,500倍。

在圖像識(shí)別測(cè)試中，達(dá)到80.9%準(zhǔn)確率所需的計(jì)算量和數(shù)據(jù)量

調(diào)查涉及的是ImageNet基準(zhǔn)測(cè)試上的ResNeXt-101計(jì)算機(jī)視覺(jué)系統(tǒng)，計(jì)算以FLOP為單位，數(shù)據(jù)以訓(xùn)練集中的圖像數(shù)量來(lái)衡量。

AI的下一個(gè)階段

根據(jù)Sevilla的預(yù)測(cè)，研究人員用于訓(xùn)練系統(tǒng)的計(jì)算量很可能在一段時(shí)間內(nèi)繼續(xù)以目前的加速度增長(zhǎng)，企業(yè)在訓(xùn)練AI系統(tǒng)上花費(fèi)的資金也會(huì)增加，而隨著計(jì)算成本的持續(xù)下降，效率也會(huì)提高。

直到個(gè)時(shí)刻，繼續(xù)增加計(jì)算量只能略微提高性能為止。在此之后，計(jì)算量將繼續(xù)增加，但速度會(huì)放慢。而這完全是因?yàn)槟柖蓪?dǎo)致計(jì)算成本下降。

目前，AI系統(tǒng)（如 LLaMA）所使用的數(shù)據(jù)來(lái)自互聯(lián)網(wǎng)。在以往，能輸入AI系統(tǒng)多少數(shù)據(jù)量，主要取決于有多少算力。

而最近訓(xùn)練AI系統(tǒng)所需的數(shù)據(jù)量的爆炸性增長(zhǎng)，已經(jīng)超過(guò)了互聯(lián)網(wǎng)上新文本數(shù)據(jù)的生產(chǎn)速度。

因此，Epoch預(yù)測(cè)，研究人員將在2026年用盡高質(zhì)量的語(yǔ)言數(shù)據(jù)。

不過(guò)，開(kāi)發(fā)AI系統(tǒng)的人對(duì)這個(gè)問(wèn)題似乎不太擔(dān)心。

在3月份參加Lunar Society的播客節(jié)目時(shí)，OpenAI的首席科學(xué)家Ilya Sutskever表示：「我們的數(shù)據(jù)情況還不錯(cuò)。還有很多可用的數(shù)據(jù)。」

在7月份參加Hard Fork播客節(jié)目時(shí)，Dario Amodei估計(jì)：「在數(shù)據(jù)不足的情況下，這種擴(kuò)展可能有10%的幾率會(huì)受到影響?！?/p>

Sevilla也相信，數(shù)據(jù)的不足并不會(huì)阻止AI的進(jìn)一步發(fā)展，例如找到使用低質(zhì)量語(yǔ)言數(shù)據(jù)的方法。因?yàn)榕c計(jì)算不同，數(shù)據(jù)不足以前并沒(méi)有成為AI發(fā)展的瓶頸。

他預(yù)計(jì)，在創(chuàng)新方面，研究人員將很可能會(huì)發(fā)現(xiàn)很多簡(jiǎn)單的方法來(lái)解決這個(gè)問(wèn)題。

到目前為止，算法的大部分改進(jìn)，都源于如何更高效地利用算力這一目標(biāo)。Epoch發(fā)現(xiàn)，過(guò)去超過(guò)四分之三的算法進(jìn)步，都是被用來(lái)彌補(bǔ)計(jì)算的不足。

未來(lái)，隨著數(shù)據(jù)成為AI訓(xùn)練發(fā)展的瓶頸，可能會(huì)有更多的算法改進(jìn)，被用來(lái)彌補(bǔ)數(shù)據(jù)上的不足。

綜合以上三個(gè)方面，包括Sevilla在內(nèi)的專(zhuān)家們預(yù)計(jì)，AI進(jìn)展將在未來(lái)幾年內(nèi)繼續(xù)以驚人的速度進(jìn)行。

計(jì)算量將繼續(xù)增加，因?yàn)楣就度敫噘Y金，底層技術(shù)也變得更加便宜。

互聯(lián)網(wǎng)上剩余有用的數(shù)據(jù)將被用于訓(xùn)練AI模型，研究人員將繼續(xù)找到訓(xùn)練和運(yùn)行AI系統(tǒng)的更高效方法，從而更好地利用算力和數(shù)據(jù)。

而AI在這些十年的發(fā)展趨勢(shì)，也將繼續(xù)延續(xù)下去。

當(dāng)然，這種趨勢(shì)也讓很多AI專(zhuān)家感到擔(dān)憂。

在參議院委員會(huì)聽(tīng)證會(huì)上，Anthropic CEO Amodei提出，如果AI再繼續(xù)進(jìn)步下去，兩到三年內(nèi)，普通人都可以獲得即使是專(zhuān)家也無(wú)法獲得的科學(xué)知識(shí)了。

這可能造成的網(wǎng)絡(luò)安全、核技術(shù)、化學(xué)、生物學(xué)等領(lǐng)域造成的嚴(yán)重破壞和濫用，誰(shuí)都無(wú)法想象。

關(guān)鍵詞：