本文來自微信公眾號“電子發(fā)燒友網(wǎng)”，文/莫婷婷。
隨著大模型智能水平的提升，AIGC所需要的算力也在不斷增長。根據(jù)OpenAI的研究，AI訓(xùn)練所需算力指數(shù)增長，且增長速度超越硬件的摩爾定律。燧原科技創(chuàng)新研究院負(fù)責(zé)人、首席科學(xué)家姚建國教授認(rèn)為，算力分為需求、場景，還有芯片和系統(tǒng)四個層次。算力需求的變化給AI芯片以及系統(tǒng)都帶來了一定程度的挑戰(zhàn)。
多家廠商發(fā)布垂直類大模型，AIGC落地場景逐漸清晰
隨著各大公司對AIGC研究的不斷深入和技術(shù)投入，國內(nèi)外廠商積極推出屬于自己的類ChatGPT模型，例如華為的“盤古”，商湯的“日日新”、深蘭科技的“硅基知識”、出門問問的“序列猴子”、深信服的“安全大模型”等等大模型。這么多的大模型，若是放在兩年前，業(yè)內(nèi)人士可能會頭疼于它的落地場景。
得益于ChatGPT的出現(xiàn)，業(yè)內(nèi)人士看到了更多AIGC落地的可能性，并且推動AI行業(yè)進(jìn)入AIGC時代。百度創(chuàng)始人、董事長兼CEO李彥宏近期公開演講時就表示，“大模型即將改變世界”。
那么，大模型究竟會如何改變世界呢？這還得從落地場景看。目前，AIGC的典型應(yīng)用分為文生文、文生圖、文生視頻。近期中國市場開放一些文生文的應(yīng)用越來越多，具體的應(yīng)用包括對話式功能，還支持搜索和營銷的場景。
盡管國內(nèi)廠商還未推出像GPT-4如此強大的通用模型，但是在垂直領(lǐng)域的人工智能大模型卻迎來飛躍式的發(fā)展，并且有著巨大的想象空間。正如李彥宏提到的，每一個行業(yè)都應(yīng)該有屬于自己的大模型。未來技術(shù)跟業(yè)務(wù)深度融合是AIGC發(fā)展的最終方向。
算力需求變化帶來系統(tǒng)級創(chuàng)新
談及大模型對算力的需求，姚建國教授表示，AIGC智算中心可以分為三類大模型：基礎(chǔ)大模型、場景大模型和應(yīng)用大模型。
基礎(chǔ)大模型通過巨大的算力生成，然后通過預(yù)訓(xùn)練算力、超大訓(xùn)練算力支撐，例如ChatGPT。場景大模型是在大模型基礎(chǔ)進(jìn)行調(diào)優(yōu)，通過Fine Tune算力支撐，可以適應(yīng)不同場景，也就能賦能到不同行業(yè)，可以引用一些普惠訓(xùn)練算力。應(yīng)用大模型主要是通過推理算力，包括云端推理和端側(cè)推理。
對于芯片的需求，基礎(chǔ)大模型和場景大模型分別需要大算力訓(xùn)練芯片和中算力訓(xùn)練芯片，且對機器之間的數(shù)據(jù)互聯(lián)帶寬有較高的要求，都需要高速芯片互聯(lián)。而應(yīng)用大模型只需要云端推理算力，且可以使用分布式/單機訓(xùn)練和推理，是性價比較高的大模型之一。
算力肉眼可見地不斷增長，燧原科技姚建國教授在公開演講時也提到了一組數(shù)據(jù)：從2012年到2018年，訓(xùn)練AI算力增長了30萬倍，摩爾定律相同時間通用算力只有7倍的增長。從這里可以看出AIGC對算力需求之高。
算力需求變化帶來了三大問題，一是存/算性能失配，內(nèi)存墻導(dǎo)致訪存時延高、效率低；二是馮諾依曼架構(gòu)下，功耗墻導(dǎo)致傳輸能耗損失；三是滿足大模型需求，性能墻導(dǎo)致算力無法滿足。姚建國教授表示，未來不僅僅是單核芯片去解決算力問題，一定會是通過一個系統(tǒng)級解決方案去實現(xiàn)整個算力適應(yīng)變化。
目前，單獨的服務(wù)器、集群難以解決大模型的預(yù)訓(xùn)練，因此需要有大算力加速，比如說H100提供了Transformer引擎；此外還有機密計算、COP互聯(lián)加速、CXL協(xié)議等等各方面的創(chuàng)新。業(yè)內(nèi)人士普遍認(rèn)為，系統(tǒng)級創(chuàng)新會是未來的發(fā)展趨勢
對于大模型未來的發(fā)展趨勢，IDC中國首席分析師武連峰認(rèn)為，AI大模型應(yīng)用深化，從專屬AI到通用AI，會是趨勢之一。當(dāng)然，最終實現(xiàn)通用AI的道路還有很長。
