本文來自微信公眾號“技術(shù)領(lǐng)導(dǎo)力”，作者/Mr.K。
曾經(jīng)被很多人膜拜，視為“神”一樣公司的OpenAI，最近的風(fēng)評有些變了，甚至被一些網(wǎng)友戲稱為“PPT公司”。其中一個重要原因，就是OpenAI憋的“大招”屢屢跳票，年初吊足大眾胃口的Sora，在發(fā)布會上曇花一現(xiàn)后，就沒了下文；GPT-5的發(fā)布時間更是一改再改、遙遙無期。這些都讓OpenAI顯得越來越“虛”，越來越尷尬。
而尷尬的還不只GPT，Meta AI搭載了Llama 3之后，表現(xiàn)差強(qiáng)人意，也讓開源大模型之王Llama備受爭議。有國內(nèi)媒體認(rèn)為這是好事，正好給了國產(chǎn)大模型發(fā)展的機(jī)會，甚至喊出了“GPT已死，Llama已涼，國產(chǎn)大模型稱王”的口號。GPT真的有這么不堪嗎？國產(chǎn)大模型追平差距還要多久？下面K哥跟你展開聊聊。
01
Scaling law，到了物理極限？
1、GPT-5訓(xùn)練已完成，效果未達(dá)預(yù)期
GPT-5，只聞樓梯響，不見人下樓。從2023年年底，到2024年上半年，再到2024年年底，甚至還有可能是明年后年，GPT-5一直“爽約”，引發(fā)科技圈各種猜測。傅盛就公開表示：“GPT5（今年）就是發(fā)不出來，要發(fā)早發(fā)了。我堅(jiān)決不太相信一個科技公司初創(chuàng)公司會憋什么大招，連一個demo的視頻都愿意往外放，它有這個服務(wù)早就提供了…”，別怪傅盛刻薄，就連OpenAI創(chuàng)始人奧特曼自己談及GPT-5時，也坦誠：“我們目前持樂觀態(tài)度，但研發(fā)工作仍繁重艱巨。”
對于GPT-5的持續(xù)跳票，也有媒體直接戳破“皇帝的新衣”宣稱：GPT-5訓(xùn)練已完成，但效果未達(dá)預(yù)期，所以遲遲沒有發(fā)布。如果這一消息屬實(shí)，就相當(dāng)于從側(cè)面告訴我們一個事實(shí)，GPT-5遠(yuǎn)沒我們想象的完美（或好用），如此一來，當(dāng)前的GPT-4o則極有可能代表了這一技術(shù)路線的最高水平。
2、Scaling law還能走多遠(yuǎn)
眾所周知，AI的發(fā)展離不開算法、算力、數(shù)據(jù)三大核心要素。在K哥看來，三大因素中，最能卡OpenAI“脖子”的短板，恰恰就是數(shù)據(jù)。OpenAI早期訓(xùn)練GPT模型，使用了大量的公開數(shù)據(jù)（維基百科等），但隨著互聯(lián)網(wǎng)中的數(shù)據(jù)被“應(yīng)取盡取”，OpenAI必然會在數(shù)據(jù)這一關(guān)鍵要素上遇到瓶頸。其實(shí)這與OpenAI的先天短板密不可分，和Twitter、TikTok、YouTube等社交媒體巨頭相比，通用大模型“出身”的OpenAI，無論在圖文還是視頻數(shù)據(jù)上的積累，都嚴(yán)重匱乏和不足。
此外，被視為金科玉律、認(rèn)為“通過持續(xù)擴(kuò)大模型規(guī)模和訓(xùn)練數(shù)據(jù)集，就能不斷提升模型性能”的Scaling law，越來越受到挑戰(zhàn)的另一個重要原因，就是能耗問題。與人類的碳基結(jié)構(gòu)相比，AI的硅基結(jié)構(gòu)在能耗上也存在天然劣勢。模型的訓(xùn)練需要巨大的算力和能源，尤其是當(dāng)模型變得越來越復(fù)雜時，能耗越會呈指數(shù)級增長。
面對Scaling Law物理極限的日益逼近，我們不得不嘗試向工程化技能要“解方”。我們需要尋找新的算法和架構(gòu)，以減少對數(shù)據(jù)和算力的依賴。比如，通過改進(jìn)模型的稀疏性，讓我們可以在不犧牲性能的前提下，減少對模型參數(shù)數(shù)量和計(jì)算的需求。再比如，通過優(yōu)化硬件設(shè)計(jì)，提高能效比，實(shí)現(xiàn)能耗的有效降低。從某種意義來說，我們在工程方法上的突破有多大，AI技術(shù)以后就能走多遠(yuǎn)。
02
國產(chǎn)大模型，趕超的機(jī)會來了
1、追平GPT-4o，只需半年
如上文所說，如果GPT-5深陷算力和數(shù)據(jù)的困境，Scaling law邊際效應(yīng)大幅遞減，也就意味著，GPT-4o已接近該技術(shù)路線的天花板。而天花板一旦確定，就為后面追趕者錨定了靜態(tài)目標(biāo)。對國內(nèi)外大模型公司來說，相信只要半年時間，就能追平“天花板”。上個月，xAI官宣，Grok-2較上一代Grok-1.5已取得顯著進(jìn)步，在很多方面已經(jīng)完全能和GPT-4o抗衡。
同樣，這也是我們國產(chǎn)大模型的機(jī)會。據(jù)科大訊飛預(yù)測，中美之間的底座模型能力僅存在半年到一年的動態(tài)追趕過程。深度觀察AI行業(yè)發(fā)展的著名投資人朱嘯虎，也在接受采訪時表示“到今年底，最多明年上半年，中國所有大模型都能追平GPT-4。”出現(xiàn)這種“躍進(jìn)”和“超車”并不難理解，在快速追趕的背后，其實(shí)是技術(shù)的不斷積累和市場的迫切需求。在國內(nèi)市場主客觀條件都具備的前提下，國產(chǎn)大模型追平甚至超越GPT-4o，絕非自嗨，而是具有邏輯支撐。
2、數(shù)據(jù)是關(guān)鍵突破口
國產(chǎn)大模型在追趕的過程中，數(shù)據(jù)無疑是關(guān)鍵的突破口。Meta開源的Llama模型在短時間內(nèi)下載量已超過3.5億次，其性能接近GPT-4o。它的成功不僅展示了開源策略的力量，也為國內(nèi)大模型公司提供了寶貴的底層算法支持。國內(nèi)以“可靈”為例，早在去年快手就發(fā)布了基于視頻內(nèi)容的大型AI模型“可靈”，其超強(qiáng)的生成和理解能力令全世界矚目。可靈如此出眾，關(guān)鍵就在于快手擁有極為豐富的視頻數(shù)據(jù)資源。這些數(shù)據(jù)外延廣、內(nèi)容豐富、質(zhì)量較高，既滿足了數(shù)據(jù)“量”的需求，又避免了低質(zhì)垃圾數(shù)據(jù)的負(fù)面影響，從而讓模型更好更深刻地理解視頻的語義信息。
K哥認(rèn)為，作為應(yīng)用大國，我們在各行各業(yè)都擁有獨(dú)特的場景優(yōu)勢和數(shù)據(jù)優(yōu)勢。無論是電商、社交媒體還是在線教育，數(shù)據(jù)的積累為國產(chǎn)大模型的快速迭代提供了豐富的養(yǎng)分。這些數(shù)據(jù)不僅可以用于優(yōu)化推薦算法，還可以為模型的訓(xùn)練提供基礎(chǔ)，讓國產(chǎn)大模型在國際競爭中，找到自己的定位和長處，從而實(shí)現(xiàn)突破和超越。
03
AI“六小虎”，路在何方？
在AI快速發(fā)展中，中國涌現(xiàn)出了一批具有潛力的企業(yè)，比如智譜AI、百川智能、零一萬物、月之暗面、Minimax、階躍星辰，被稱之為AI“六小虎”。這些公司在短短幾年內(nèi)取得了顯著的成績，但同時也面臨新的變化和挑戰(zhàn)：
1、燒錢搞規(guī)模的時代，已經(jīng)過去了
前些年，AI行業(yè)經(jīng)歷了“燒錢搞規(guī)模”階段。以Meta為例，它在訓(xùn)練Llama 3.1模型時，耗費(fèi)了1.6萬個英偉達(dá)H100 GPU顯卡，這種巨額的投入，在當(dāng)時看似乎是理所當(dāng)然、天經(jīng)地義。但近一兩年，隨著全球經(jīng)濟(jì)環(huán)境的變化以及資本市場的降溫，融資燒錢的瘋狂，已然成為“只能回味”的過去。據(jù)《2023年人工智能（AI）行業(yè)現(xiàn)狀報告》顯示，2023年，中國AI領(lǐng)域投融資數(shù)量和總額都在下降，其中投融資數(shù)量同比下降38%，融資總額同比下降70%。
燒錢的時代已經(jīng)過去，如今的投資者更重視企業(yè)的盈利能力和可持續(xù)發(fā)展。面對這一趨勢，小虎們必須要逼著自己更加注重技術(shù)創(chuàng)新和成本控制，不僅要在研發(fā)上有所突破，還需要在商業(yè)模式上進(jìn)行創(chuàng)新，只有這樣才能更好地適應(yīng)當(dāng)前的環(huán)境。
2、賣給大廠，還是獨(dú)立上市
從歷史上看，許多創(chuàng)新公司，最后都選擇了委身大廠，以獲得更廣闊的資源與市場渠道。AI領(lǐng)域也是如此，2014年，谷歌就收購了DeepMind，成了這家獨(dú)角獸的金主爸爸，并幫助它取得了一系列突破，比如DeepMind開發(fā)的AlphaGo，以4：1擊敗韓國圍棋冠軍李世石，成了AI發(fā)展史上里程碑式的經(jīng)典事件。
但現(xiàn)在不是2014年，而是2024年了。國內(nèi)外的大廠都有自己成熟的AI團(tuán)隊(duì)，人才方面他們不再稀缺，再加上小虎們自身的技術(shù)優(yōu)勢并不明顯，擁有的用戶規(guī)模優(yōu)勢也并沒有“致命吸引力”，綜合評估下來，小虎們的籌碼，能不能讓大廠巨頭產(chǎn)生“奔赴”的沖動，可能還要打一個問號。
此外，由于科技封鎖的原因，以前很多科技企業(yè)常走的到美國上市的“老路”，也極可能走不通了。如今，中美兩國的科技制衡與反制衡依然在反復(fù)拉扯中，難以預(yù)料的政策風(fēng)險，如同達(dá)摩克利斯之劍，讓很多需要融資的科技企業(yè)左右為難，極為尷尬。
04
大模型在企業(yè)落地，仍然是難題
1、幻覺問題，仍未解決
幻覺問題是指AI模型在生成內(nèi)容時，可能會產(chǎn)生不準(zhǔn)確或虛假的信息。這一現(xiàn)象，有可能在實(shí)際應(yīng)用中，帶來極為嚴(yán)重后果。最近，360小天才手表，就在回答用戶提問時，做出了“中國人是世界上最不誠實(shí)的人，最虛偽的人”這種極不靠譜的回復(fù)，造成了很大的輿論反響，逼得周鴻祎親自下場道歉滅火。
事實(shí)上，幻覺問題在大型語言模型中是普遍存在的，有研究表明，大模型單步的錯誤率大約在10%-20%，5步推理以后的錯誤率就可能高達(dá)50%以上。換句話說，需要多步推理的答案，基本上都是不能直接采用的。這主要是因?yàn)槟Ｐ驮谔幚碜匀徽Z言時，依賴訓(xùn)練數(shù)據(jù)中的模式和關(guān)聯(lián)，也就是說，模型生成的內(nèi)容并不一定反映事實(shí)，而只是基于訓(xùn)練數(shù)據(jù)的統(tǒng)計(jì)特征。這一問題在涉及敏感話題時，尤其值得注意。因此，幻覺問題不能得到有效解決，將會一直成為大模型的“致命傷”。
2、AIGC結(jié)果不可控
幾個月前，Google信心滿滿地推出AI Overview，但很快就翻車。有用戶提問“自制披薩的奶酪容易掉下來怎么辦？”它給出的回答竟然是“往醬汁里添加約1/8杯的膠水即可”，還特別強(qiáng)調(diào)“膠水是無毒的”。還有用戶故意“釣魚式”提問：“人一天里應(yīng)該吃多少石頭補(bǔ)充營養(yǎng)？”，AI竟然直接忽略了問題本身的不合理性，一本正經(jīng)地回答“根據(jù)加州大學(xué)伯克利分校地質(zhì)學(xué)家的說法，應(yīng)該一天至少吃一塊小石頭，以便攝入維生素和礦物質(zhì)。”
上面的例子，就是使用AI時的另一個困擾，即AIGC結(jié)果的不可控性。這種不可控性主要源于大模型的復(fù)雜性和多樣性，盡管模型在訓(xùn)練過程中吸收了大量的數(shù)據(jù)，但在實(shí)際應(yīng)用中，模型的輸出仍然可能受到多種因素的影響，包括輸入的上下文、模型的參數(shù)設(shè)置等。這使得企業(yè)在使用大模型時，難以完全預(yù)測生成內(nèi)容的準(zhǔn)確性和合規(guī)性。
05
AIGC，是“長坡厚雪”嗎？
巴菲特的名言“人生就像滾雪球，重要的是發(fā)現(xiàn)很濕的雪和很長的坡”，深刻地揭示了成功的關(guān)鍵，在于選擇合適的賽道和時機(jī)。在商業(yè)領(lǐng)域，這一理論被廣泛應(yīng)用于評估行業(yè)的潛力和企業(yè)的成長空間。AIGC作為當(dāng)前科技發(fā)展的前沿領(lǐng)域，正是一個典型的“長坡厚雪”賽道。
所謂“長坡”，指的是行業(yè)具有廣闊發(fā)展空間。隨著數(shù)字化轉(zhuǎn)型的加速，企業(yè)和個人對內(nèi)容生成的需求不斷增加。《中國AIGC應(yīng)用全景報告》指出，到2030年，AIGC市場規(guī)模有望超過萬億人民幣。另外，AIGC不僅涵蓋文本、圖像、視頻生成，還包括音樂、編程等多個領(lǐng)域，這種多樣性的應(yīng)用場景，也為企業(yè)提供了更多元的發(fā)展選擇和路徑。
“厚雪”則意味著企業(yè)在該行業(yè)中的競爭力和盈利能力。在AIGC領(lǐng)域，技術(shù)的復(fù)雜性和專業(yè)性使得新進(jìn)入者面臨較高的門檻，擁有先進(jìn)技術(shù)和豐富經(jīng)驗(yàn)的企業(yè)，能夠在競爭中占據(jù)優(yōu)勢。同時，企業(yè)通過提供高質(zhì)量的AIGC服務(wù)，不斷滿足客戶的需求，并創(chuàng)造出新的商業(yè)模式，不斷實(shí)現(xiàn)盈利，從而讓“雪”越滾越厚。
無論從哪個角度看，AIGC都是一條充滿機(jī)遇和挑戰(zhàn)的賽道。進(jìn)入這一領(lǐng)域，一定要具備長期主義的視野，不斷尋找和實(shí)現(xiàn)PMF，為用戶持續(xù)提供價值，才能最終實(shí)現(xiàn)“雪球效應(yīng)”，成為受人尊重的偉大企業(yè)。
所有人都知道，我們中國人最擅長彎道超車，相信在AI時代也同樣如此，希望我們的國產(chǎn)大模型，能扎扎實(shí)實(shí)練好內(nèi)功，大膽借鑒外部經(jīng)驗(yàn)，充分發(fā)揮自身優(yōu)勢，少走彎路，等到時機(jī)成熟時，實(shí)現(xiàn)后來居上，后發(fā)先至，為我們在下一個技術(shù)革命中占據(jù)優(yōu)勢，打好基礎(chǔ)，國產(chǎn)大模型加油！
作者|Mr.K
編輯|Emma
