本文來自微信公眾號“數(shù)據(jù)猿”，作者/一蓑煙雨。
如果把時(shí)鐘撥到2023年底，當(dāng)我們回過頭來看今年科技界最激動(dòng)人心的大事件，ChatGPT的橫空出世無疑會(huì)占據(jù)一席之地。就像幾年前大家被谷歌AlphaGo點(diǎn)燃對人工智能的熱情一樣，人們對ChatGPT的熱情只多不少。
并且，AlphaGo其實(shí)只是虛晃一槍，并沒能帶來很多的實(shí)際應(yīng)用，而ChatGPT不一樣，商業(yè)應(yīng)用速度異常迅速，超過了大部分的預(yù)期。OpenAI很快推出了GPT-4，微軟很快將相應(yīng)模型接入其搜索、office全家桶等各條業(yè)務(wù)線；谷歌以Bard倉促應(yīng)戰(zhàn)，并與其搜索業(yè)務(wù)深度綁定，褒貶不一；國內(nèi)的百度以文心一言快速跟進(jìn)，目前已經(jīng)有數(shù)十萬家企業(yè)在排隊(duì)接入文心一言；阿里巴巴發(fā)布的通義千問，同樣得到數(shù)十萬企業(yè)的熱情回應(yīng)。
人們對于這類AI應(yīng)用的熱情可見一斑。
實(shí)際上，正如數(shù)據(jù)猿先前發(fā)布的文章《含淚控訴人類科技史上的三個(gè)頂級“渣男”！》，人工智能、可控核聚變、元宇宙這三個(gè)領(lǐng)域的每一次突破，都將極大的挑動(dòng)人類敏感的神經(jīng)，都能引發(fā)一波全民追捧熱浪。
然而，外行看熱鬧，內(nèi)行看門道。作為一個(gè)專業(yè)媒體，數(shù)據(jù)猿并不滿足于報(bào)道浮在行業(yè)表面的熱點(diǎn)新聞，而要試圖去挖掘隱藏在冰山底下的秘密。
在我們看來，雖然現(xiàn)在ChatGPT已經(jīng)成為萬眾矚目的明星，但它卻只是擺在臺(tái)面上的“提線木偶”，真正隱藏在幕后操控這一切的幕后大佬另有其人。
一言以蔽之：ChatGPT只是表面的喧囂，大模型才是刺破AI的那柄尖刀。
所以，要搞清楚目前的狀況，應(yīng)該把更多的注意力放在底層的大模型上，而不是停留在ChatGPT上。正如上一輪AlphaGo引發(fā)的AI浪潮，其底層驅(qū)動(dòng)力是深度學(xué)習(xí)技術(shù)的突破。
接下來，我們就來深入分析一下大模型，試圖搞清楚大模型跟以往的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型有什么不一樣；大模型這么厲害，那它到底是如何工作的。
大模型是深度學(xué)習(xí)技術(shù)的進(jìn)化版
人工智能已經(jīng)發(fā)展了幾十年了，整體朝著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大模型的進(jìn)化方向發(fā)展。
人工智能是一種廣義的概念，指的是使機(jī)器能夠表現(xiàn)出人類智能的任何技術(shù)。機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法，它通過讓機(jī)器從數(shù)據(jù)中學(xué)習(xí)，自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的模式和規(guī)律。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種特殊形式，它使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和預(yù)測。
大規(guī)模預(yù)訓(xùn)練模型是一種機(jī)器學(xué)習(xí)模型，使用大量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，并在后續(xù)任務(wù)中進(jìn)行微調(diào)。這種模型通常采用深度學(xué)習(xí)技術(shù)，可以自動(dòng)從數(shù)據(jù)中提取特征和模式，從而進(jìn)行各種任務(wù)，例如自然語言處理、圖像識別、語音識別等。目前最著名的大規(guī)模預(yù)訓(xùn)練模型之一是GPT系列。
大規(guī)模預(yù)訓(xùn)練模型可以被看作是深度學(xué)習(xí)技術(shù)的一種進(jìn)化和擴(kuò)展，大規(guī)模預(yù)訓(xùn)練模型通常也使用了以往深度學(xué)習(xí)模型的一些技術(shù)，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。通過預(yù)訓(xùn)練加微調(diào)的方式，大規(guī)模預(yù)訓(xùn)練模型在處理大規(guī)模數(shù)據(jù)和多個(gè)任務(wù)方面具有很強(qiáng)的能力，成為了當(dāng)前人工智能領(lǐng)域的一個(gè)重要研究方向。
因此，大模型、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能的關(guān)系可以用下圖來表示：
數(shù)據(jù)猿制圖
深度學(xué)習(xí)技術(shù)可以視為大模型的地基之一，大模型發(fā)展也跟深度學(xué)習(xí)技術(shù)的突破息息相關(guān)。2012-2018年，深度學(xué)習(xí)技術(shù)在默默發(fā)展，2018年OpenAI推出GPT模型為分水嶺，大模型的發(fā)展進(jìn)入加速階段。各個(gè)科技巨頭都開始狂煉大模型，一方面是在核心算法上進(jìn)行探索，另一方面就是的不斷提升參數(shù)規(guī)模——大模型領(lǐng)域的“暴力美學(xué)”。
當(dāng)然，除了美國，中國在大模型領(lǐng)域是跟的最緊的，百度、騰訊、阿里巴巴、華為等也誕生了不少成果。
其中，百度在這個(gè)領(lǐng)域的積累最深，這也是百度能在中國率先推出對標(biāo)ChatGPT的文心一言產(chǎn)品的原因。
接下來我們試圖從技術(shù)角度，來探討一下大模型產(chǎn)業(yè)發(fā)展的核心邏輯。
全新的訓(xùn)練模式：預(yù)訓(xùn)練+微調(diào)
同樣是深度學(xué)習(xí)技術(shù)，為什么大模型能表現(xiàn)的如此驚艷，它有什么不一樣呢？
以往的深度學(xué)習(xí)模型通常需要從頭開始訓(xùn)練，需要大量的標(biāo)注數(shù)據(jù)和計(jì)算資源。而大規(guī)模預(yù)訓(xùn)練模型則采用了一種更加高效的訓(xùn)練方式，即預(yù)訓(xùn)練加微調(diào)。預(yù)訓(xùn)練是指在海量數(shù)據(jù)上進(jìn)行無監(jiān)督學(xué)習(xí)，使得模型學(xué)到更加通用的特征和表示。在預(yù)訓(xùn)練完成后，可以在不同的任務(wù)上進(jìn)行微調(diào)，使得模型能夠適應(yīng)具體的任務(wù)。
可以發(fā)現(xiàn)，大模型的訓(xùn)練有兩個(gè)關(guān)鍵的步驟，即預(yù)訓(xùn)練+微調(diào)。通過預(yù)訓(xùn)練，來獲得一些通用特征，并提升模型泛化能力。
在大規(guī)模預(yù)訓(xùn)練模型中，通用的特征和表示指的是一些基本的語言或圖像特征，這些特征是在模型在大規(guī)模數(shù)據(jù)上無監(jiān)督學(xué)習(xí)時(shí)自動(dòng)學(xué)習(xí)到的。
這些通用的特征和表示具有一定的抽象性，可以在不同的任務(wù)中被重新利用，從而使得模型可以更加高效地學(xué)習(xí)新的任務(wù)。這就像是學(xué)生在學(xué)習(xí)不同的科目時(shí)，會(huì)學(xué)到一些基本的學(xué)習(xí)方法和技巧，比如如何理解概念、如何思考問題、如何進(jìn)行邏輯推理等等。這些基本的學(xué)習(xí)方法和技巧可以被應(yīng)用在不同的科目中，幫助學(xué)生更加高效地學(xué)習(xí)和掌握知識。
目前大模型的泛化效果已經(jīng)相當(dāng)不錯(cuò)，比如在自然語言處理領(lǐng)域，大模型如GPT-4在多個(gè)NLP任務(wù)上均取得了出色的表現(xiàn)，表明大模型在泛化方面已經(jīng)取得了很大的進(jìn)展。未來的突破重點(diǎn)可能在于進(jìn)一步提高模型的泛化能力，比如在數(shù)據(jù)增強(qiáng)、對抗訓(xùn)練等方面繼續(xù)探索創(chuàng)新方法。
相比之前的深度學(xué)習(xí)模型，大模型之所以能夠?qū)崿F(xiàn)更好的泛化能力，關(guān)鍵在于大模型具有更多的參數(shù)和更豐富的特征表示能力。大模型在預(yù)訓(xùn)練階段就能夠?qū)W習(xí)到大規(guī)模數(shù)據(jù)的特征表示，這些通用的特征能夠被遷移應(yīng)用到各種不同的任務(wù)中，使得大模型能夠更好地適應(yīng)新的任務(wù)，從而提高了泛化能力。
關(guān)于泛化能力，可以把它比喻成一個(gè)人的適應(yīng)能力。如果一個(gè)人只是在自己家里待著，很少接觸外面的世界，那么他可能很難適應(yīng)到新的環(huán)境中去。但是如果一個(gè)人經(jīng)常外出旅行，接觸不同的文化和環(huán)境，那么他的適應(yīng)能力就會(huì)更強(qiáng)，無論面對何種情況，都能夠迅速適應(yīng)。同樣地，一個(gè)模型的泛化能力越強(qiáng)，也就意味著它對于不同的數(shù)據(jù)集都能夠有很好的適應(yīng)能力。
舉個(gè)例子，假設(shè)你是一個(gè)學(xué)習(xí)者，正在學(xué)習(xí)如何區(qū)分不同種類的水果。傳統(tǒng)的深度學(xué)習(xí)模型可能只能學(xué)習(xí)到一些基礎(chǔ)的特征，比如顏色、大小等，但是如果遇到一些特殊的水果，比如火龍果、楊桃等，模型可能就無法正確識別。這就好比你只是學(xué)習(xí)了蘋果、香蕉等常見水果的特征，但對于火龍果、楊桃這類非常規(guī)的水果，你可能無從下手。但是，如果你使用了一種大規(guī)模預(yù)訓(xùn)練模型，就好比你已經(jīng)學(xué)習(xí)了各種不同種類的水果的特征，并且可以將這些特征遷移到新的水果上。這樣，即使你遇到了一些之前沒見過的水果，也可以根據(jù)它們的特征正確地識別它們。
自監(jiān)督學(xué)習(xí)，數(shù)據(jù)“爆炸”的引信
從上面的分析可以發(fā)現(xiàn)，足夠多的數(shù)據(jù)，是大模型實(shí)現(xiàn)泛化的重要基礎(chǔ)，只有模型“見多識廣”了，遇到以前沒見過的情況才可以從容應(yīng)對。
事實(shí)上，大模型之所以能取得如此驚艷的表現(xiàn)，有一個(gè)關(guān)鍵的突破，就是訓(xùn)練數(shù)據(jù)集的擴(kuò)大。
數(shù)據(jù)猿對比了機(jī)器學(xué)習(xí)模型（以隨機(jī)森林模型為例）、傳統(tǒng)深度學(xué)習(xí)模型和大模型的訓(xùn)練數(shù)據(jù)集規(guī)模。發(fā)現(xiàn)大模型的訓(xùn)練數(shù)據(jù)集規(guī)模要比傳統(tǒng)深度學(xué)習(xí)高幾個(gè)數(shù)量級，至于更傳統(tǒng)的機(jī)器學(xué)習(xí)模型就更沒有可比性了。
既然訓(xùn)練數(shù)據(jù)集規(guī)模越大模型的表現(xiàn)越好，那為什么以前不把數(shù)據(jù)集規(guī)模做大呢？不是不想，是不能。傳統(tǒng)深度學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)，大多是標(biāo)注數(shù)據(jù)，對數(shù)據(jù)進(jìn)行標(biāo)注是一個(gè)費(fèi)時(shí)費(fèi)力的過程，這極大的限制了數(shù)據(jù)規(guī)模。
要打破數(shù)據(jù)標(biāo)注的桎梏，自監(jiān)督學(xué)習(xí)技術(shù)閃亮登場了。
自監(jiān)督學(xué)習(xí)是一種無需人工標(biāo)注數(shù)據(jù)的機(jī)器學(xué)習(xí)方法，它通過利用數(shù)據(jù)自身的內(nèi)在結(jié)構(gòu)，訓(xùn)練模型來學(xué)習(xí)數(shù)據(jù)的特征表示。其核心思想是在未標(biāo)注數(shù)據(jù)上構(gòu)建模型，并從數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)模式和結(jié)構(gòu)。自監(jiān)督學(xué)習(xí)已經(jīng)在計(jì)算機(jī)視覺、自然語言處理、語音識別等領(lǐng)域中得到廣泛應(yīng)用。
自監(jiān)督學(xué)習(xí)的核心技術(shù)包括預(yù)測任務(wù)的設(shè)計(jì)、數(shù)據(jù)增強(qiáng)方法和模型架構(gòu)的設(shè)計(jì)：預(yù)測任務(wù)的設(shè)計(jì)是指在未標(biāo)注的數(shù)據(jù)上構(gòu)建一些任務(wù)，讓模型通過這些任務(wù)來學(xué)習(xí)數(shù)據(jù)的特征表示。數(shù)據(jù)增強(qiáng)方法則是通過對未標(biāo)注數(shù)據(jù)進(jìn)行一些變換和擾動(dòng)，生成新的數(shù)據(jù)來擴(kuò)充訓(xùn)練集，提高模型的泛化能力。模型架構(gòu)的設(shè)計(jì)則是指選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化算法，使得模型能夠從未標(biāo)注數(shù)據(jù)中學(xué)習(xí)出有用的特征表示。
具體來看，實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)的具體過程包括以下幾個(gè)步驟：
收集未標(biāo)注數(shù)據(jù)集。未標(biāo)注數(shù)據(jù)集的選擇和收集對于自監(jiān)督學(xué)習(xí)的效果至關(guān)重要，需要根據(jù)具體任務(wù)選擇適合的數(shù)據(jù)集。
設(shè)計(jì)預(yù)測任務(wù)。預(yù)測任務(wù)的設(shè)計(jì)需要根據(jù)具體任務(wù)選擇合適的目標(biāo)和方法，如圖像分類、圖像重構(gòu)、圖像補(bǔ)全等。
數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)可以提高模型的泛化能力，可以通過圖像旋轉(zhuǎn)、裁剪、變形等方法來擴(kuò)充數(shù)據(jù)集。
構(gòu)建模型。模型的選擇和設(shè)計(jì)需要根據(jù)具體任務(wù)選擇適合的模型架構(gòu)和優(yōu)化算法。
模型訓(xùn)練。使用未標(biāo)注數(shù)據(jù)進(jìn)行模型訓(xùn)練，通過優(yōu)化損失函數(shù)來學(xué)習(xí)數(shù)據(jù)的特征表示。
模型評估。對訓(xùn)練好的模型進(jìn)行評估，包括特征表示的質(zhì)量、模型的泛化能力和任務(wù)性能等指標(biāo)。
需要指出的是，自監(jiān)督學(xué)習(xí)技術(shù)已經(jīng)有超過20年的發(fā)展歷史。
冰凍三尺非一日之寒，雖然看起來ChatGPT是突然爆火的，但其核心的大模型技術(shù)卻是經(jīng)過了多年的發(fā)展，一點(diǎn)點(diǎn)突破之后。從深度學(xué)習(xí)到大模型，從標(biāo)注數(shù)據(jù)訓(xùn)練到基于自監(jiān)督學(xué)習(xí)的非標(biāo)注數(shù)據(jù)訓(xùn)練，技術(shù)的發(fā)展就像一場接力賽，然后在最近達(dá)到了一個(gè)臨界點(diǎn)。
十年大模型無人問，一朝ChatGPT天下知
我們不僅要看到表面的熱鬧，也要看到產(chǎn)業(yè)背后的發(fā)展脈絡(luò)和邏輯。只有掌握產(chǎn)業(yè)的底層密碼，才能真正融入時(shí)代的浪潮，而不只是當(dāng)一個(gè)吃瓜群眾。
ChatGPT爆火之后，中國有大量的公司想要搭上這趟快車，紛紛高調(diào)宣布自己已經(jīng)或者即將推出對標(biāo)的產(chǎn)品。
當(dāng)我們關(guān)注ChatGPT時(shí)，視角應(yīng)該放在GPT，而不是Chat！
中國公司能否推出對標(biāo)ChatGPT的產(chǎn)品，核心也在于底層大模型的突破，而不是推出一個(gè)跟ChatGPT“長得像”的對話式AI產(chǎn)品。
