本文來自微信公眾號“電子發(fā)燒友網(wǎng)”，文/李彎彎。
近日，百度飛槳總架構(gòu)師于佃海公開談到，AI預(yù)訓(xùn)練大模型是深度學(xué)習(xí)崛起以來，最重要的一次技術(shù)變革。
大模型不只是模型參數(shù)規(guī)模大，同時也對應(yīng)著學(xué)習(xí)機制和AI開發(fā)應(yīng)用范式的改變。自監(jiān)督學(xué)習(xí)模式突破了數(shù)據(jù)標(biāo)注的困境，可以從海量數(shù)據(jù)中學(xué)習(xí)到豐富的通用知識。
基于大模型，只需要通過模型的微調(diào)或提示等方式，就可以在廣泛的下游任務(wù)中取得優(yōu)異的效果，極大的降低了AI開發(fā)和應(yīng)用的成本。
大語言模型的涌現(xiàn)能力
在自然語言處理領(lǐng)域，過去這些年模型的規(guī)模越來越多。之前模型參數(shù)大概在千萬級別、億級別，現(xiàn)在已經(jīng)跳到了千億級別。基本上游研究這些大模型的使一些計算資源比較豐富的企業(yè)和機構(gòu)，有了這些預(yù)訓(xùn)練模型之后，下游可以把它放在一些自然語言處理的任務(wù)中。
在全球人工智能開發(fā)者先鋒大會上，復(fù)旦大學(xué)計算機學(xué)院教授邱錫鵬在《ChatGPT能力分析與應(yīng)用》主題演講中表示，大型語言模型是ChatGPT的基座。
邱錫鵬教授談到，當(dāng)模型從小規(guī)模發(fā)展到大規(guī)模的時候，當(dāng)發(fā)展到一定階段，它會涌現(xiàn)出一些之前在小模型上觀測不到的能力，也就是大家說的能力涌現(xiàn)。比如給幾個樣例，讓模型學(xué)習(xí)這個任務(wù)，一個百億級別參數(shù)規(guī)模的模型和一個千億級別參數(shù)的模型，這兩個模型的能力差異會相當(dāng)大，邱錫鵬教授認為，從百億到千億參數(shù)規(guī)模，模型發(fā)生了能力的突變。
考察大模型的幾個能力：數(shù)學(xué)建模能力、多任務(wù)理解的能力、上下文的學(xué)習(xí)理解能力，在百億規(guī)模之后，就會發(fā)生突變。它的能力不再是線性增長。
模型使用的方式也發(fā)生了變換，因為有了大模型之后，調(diào)參非常難，它的使用范式也會發(fā)生變化。比如，早期使用預(yù)訓(xùn)練，調(diào)它的參數(shù)；現(xiàn)在語言模型很大的時候，要做什么任務(wù)，就是提示，告訴它要做什么，變成了另外一種使用范式。
舉個例子，我們把要完成的任務(wù)，用一句話描述出來，輸入給語言模型，語言模型就按產(chǎn)生下一句話的方式，生成你要的答案。這就是大型語言模型的使用方式。邱錫鵬教授認為，在Transformer這種架構(gòu)下，大型語言模型標(biāo)志性的分水嶺是百億規(guī)模參數(shù)。
以ChatGPT為例，在大模型下，ChatGPT涌現(xiàn)出的三種能力：情景學(xué)習(xí)、思維鏈和指令學(xué)習(xí)。這三個能力對ChatGPT最終的成功起到了重要作用。
情景學(xué)習(xí)：大模型調(diào)參不是很方便，如果要它在一個上下文語境中完成學(xué)習(xí)，這就叫情景學(xué)習(xí)。也就是給它一個任務(wù)，再給它幾個例子，讓它學(xué)習(xí)。情景學(xué)習(xí)賦予了大模型非常強的交互能力，情景學(xué)習(xí)也可以大幅降低下游的開發(fā)成本。
思維鏈：思維鏈的關(guān)鍵是打破了Scaling Law，一般而言，模型規(guī)模的放大通常會帶來能力的提升。而思維鏈的出現(xiàn)，使得在一定規(guī)模之后，可以通過思維鏈繼續(xù)放大模型的能力，而不需要進一步擴大參數(shù)規(guī)模。
指令學(xué)習(xí)：大模型達到一定規(guī)模之后，只需要給它少數(shù)的指令，它就學(xué)會了，對于沒見過的指令，它也會。這些就是大模型的涌現(xiàn)能力，它的泛化能力會變得非常強。
文圖生成主要技術(shù)路線
在ChatGPT出現(xiàn)之前，大模型最火的應(yīng)用就是AI作畫，也就是文圖生成。事實上，文圖生成技術(shù)從2015年到現(xiàn)在，一直在不斷演進。據(jù)百度深圳自然語言處理部技術(shù)總監(jiān)何徑舟在上述大會上介紹，這之間，文圖生成技術(shù)大概經(jīng)歷了三個技術(shù)流派。
第一個是以對抗生成網(wǎng)絡(luò)GAN-based為主的早期技術(shù)；第二個是序列生成VQ-token-based這種方式；第三個是從去年開始大熱的Diffusion-based擴散網(wǎng)絡(luò)這種方案?，F(xiàn)在常見的、在很多產(chǎn)品中使用的，都是這三個技術(shù)流派的延續(xù)或結(jié)合。
基于GAN的文本-圖像生成模型，是四五年前最火的文圖生成技術(shù)。它的優(yōu)點是，整個模型的生成過程很快，在當(dāng)時來看，生成的圖像質(zhì)量相當(dāng)不錯；然而它致命的缺點是，網(wǎng)絡(luò)特別難訓(xùn)練，稍不小心就會訓(xùn)練壞，或者難以得到理想的效果。因此在之后的工作中，大家就不太實用了。
基于圖像量化的序列建模。它是把圖像基于離散化的方式，壓縮成離散視覺token的序列，這樣可以跟文本用類似的方式基于Transformer自回歸生成，建模文本序列和圖像序列間的關(guān)系。通過這樣的方式，做文圖轉(zhuǎn)換，也可以做圖像文本的生成。何徑舟表示，文心大模型ERNIE-ViLG第一個版本就是基于VQ-token-based這種方式做的，在當(dāng)時ERNIE-ViLG能夠完成雙向的生成和建模。
基于擴散模型的文本-圖像生成模型，是現(xiàn)在文圖生成技術(shù)的主流。它是把一個圖像通過加高斯噪聲的方式，一直到純隨機序列高斯噪音的分布。再通過UNet，不斷反復(fù)調(diào)用它，把這個圖像還原回來。這時候可以把文本的encoder加進去，指導(dǎo)圖像還原過程。這樣就實現(xiàn)了從文本到圖像的生成過程。這是現(xiàn)在絕大多數(shù)最新產(chǎn)品和技術(shù)都采用的方案，效果非常好。
小結(jié)
過去這些年，國內(nèi)外在大模型技術(shù)的研究方面不斷取得突破，最近ChatGPT的出現(xiàn)及其體現(xiàn)出的驚人能力，更是讓人們體會到了大模型對于人工智能發(fā)展的重要意義。從種種跡象來看，疊加情景學(xué)習(xí)、指令微調(diào)、人類反饋、強化學(xué)習(xí)等機制，可以使大模型實現(xiàn)超出想象的能力涌現(xiàn)，讓人們期待的通用人工智能的實現(xiàn)加速。
