本文來(lái)自微信公眾號(hào)“電子發(fā)燒友網(wǎng)”，作者/莫婷婷。
全球終端市場(chǎng)在經(jīng)歷了高峰之后，在2022年、2023年出現(xiàn)明顯的終端市場(chǎng)下滑。進(jìn)入2024年，全球終端市場(chǎng)又迎來(lái)了小幅反彈，AI技術(shù)的加持是市場(chǎng)反彈的動(dòng)力之一。毫不夸張地說(shuō)，是AI重新點(diǎn)燃了終端市場(chǎng)。
2023年被認(rèn)為是AI終端的元年，那么進(jìn)入2024年，AI終端市場(chǎng)會(huì)迎來(lái)哪些發(fā)展機(jī)會(huì)，上游的芯片環(huán)節(jié)，AI芯片有哪些最新解決方案。
AI終端成為交互入口，首款A(yù)I PC個(gè)人智能體已經(jīng)面世
為什么AI算力會(huì)轉(zhuǎn)移到終端側(cè)？IDC中國(guó)及全球副總裁王吉平提到了四大方面的原因。
一是芯片廠商技術(shù)革命，未來(lái)是在混合算力的基礎(chǔ)上，端側(cè)算力未來(lái)會(huì)快速提升。二是模型正在不斷演變，例如混合專家模型（MoE）正受到業(yè)內(nèi)人士的關(guān)注。三是人們?cè)絹?lái)越關(guān)注安全性，端側(cè)模型對(duì)于個(gè)人安全隱私，以及端之間互聯(lián)互通的安全性有很好地保護(hù)。四是大模型開(kāi)始垂直化整合，垂直領(lǐng)域端+小模型的需求也在提升，王吉平認(rèn)為小模型和小終端之間也可以非常完美地匹配。
目前，在終端產(chǎn)品中，PC、智能家居、車(chē)載設(shè)備、智能手機(jī)、智能手表、耳機(jī)，甚至是AR/VR等設(shè)備都能得到AI技術(shù)的加持。
可以預(yù)測(cè)到，隨著場(chǎng)景化發(fā)展，不同場(chǎng)景下的終端分工更加細(xì)致和專業(yè)，AI技術(shù)將加速終端未來(lái)十年新一輪的融合。
目前，手機(jī)廠商已經(jīng)打造了各自的AI大模型，將其賦能至智能手機(jī)中，例如華為小藝語(yǔ)音助手用到了盤(pán)古大模型，小米小愛(ài)同學(xué)用的是小米AI大模型MiLM-6B等等。
在AI PC方面，已經(jīng)從普通的AI PC走向了AI PC智能體，例如聯(lián)想于4月18日發(fā)布的業(yè)內(nèi)首款A(yù)I PC個(gè)人智能體——聯(lián)想小天，具備文生圖的功能，還能實(shí)現(xiàn)圖像訓(xùn)練和深度編輯。
圖源：聯(lián)想
在AI機(jī)器人方面，傳音旗下創(chuàng)新科技品牌TECNO在MWC24上，展示了公司首款A(yù)I增強(qiáng)型仿生四足機(jī)器人Dynamic 1，能夠用于智能助手、教育培訓(xùn)等場(chǎng)景。
AI終端在發(fā)展過(guò)程中，大模型（LLM）向智能體（Agent）轉(zhuǎn)變，最終形成一個(gè)完整的閉環(huán)。那么，未來(lái)AI終端會(huì)朝著哪些方向發(fā)展呢？業(yè)內(nèi)人士普遍認(rèn)為，未來(lái)AI終端將成為個(gè)人AI助理，IDC認(rèn)為將具備以下五大特征：
一是成為第一交互入口。此外，當(dāng)國(guó)內(nèi)的推理芯片搭載在各個(gè)終端后，會(huì)形成國(guó)內(nèi)生態(tài)的智能體應(yīng)用于各個(gè)行業(yè)中。二是終端將標(biāo)配本地混合AI算力，例如CPU/NPU/GPU等；隨之，形成個(gè)人終端和個(gè)人邊緣協(xié)同計(jì)算結(jié)構(gòu)。三是終端內(nèi)嵌個(gè)人大模型，形成個(gè)性化本地知識(shí)庫(kù)。四是必須會(huì)有個(gè)人數(shù)據(jù)和隱私安全保護(hù)。五是有一個(gè)連接開(kāi)放的AI應(yīng)用生態(tài)，同時(shí)它要開(kāi)發(fā)API接口。
AI芯片進(jìn)入新的競(jìng)爭(zhēng)階段，英偉達(dá)、英特爾、高通攻克推理性能
在技術(shù)底層，AI終端的發(fā)展離不開(kāi)AI芯片。隨著AI大模型在終端進(jìn)行規(guī)?；瘮U(kuò)張，部署端側(cè)算力顯得尤為重要。英特爾CEO帕特·基辛格曾表示在人工智能領(lǐng)域，推理技術(shù)變得越來(lái)越重要，甚至比訓(xùn)練還更加重要。
IDC中國(guó)及全球副總裁王吉平也預(yù)測(cè)了大語(yǔ)言模型端側(cè)芯片的發(fā)展趨勢(shì)，他認(rèn)為XPU模式會(huì)推動(dòng)端側(cè)模型推理能力明顯提升。
圖源：電子發(fā)燒友網(wǎng)攝
目前，在AI芯片領(lǐng)域，英偉達(dá)、英特爾、AMD等是國(guó)際主流玩家。在近兩年，國(guó)內(nèi)的推理芯片廠商也逐漸進(jìn)入業(yè)內(nèi)視野中，例如阿里平頭哥、寒武紀(jì)、燧原科技、云天勵(lì)飛等，隨著技術(shù)的迭代，上述國(guó)產(chǎn)芯片廠商的AI芯片性能也在不斷提升。
AI芯片領(lǐng)域的競(jìng)爭(zhēng)進(jìn)入了新的階段。目前，英特爾、英偉達(dá)、高通都推出了各自面向AI推理的芯片。
就在美國(guó)時(shí)間4月9日，英特爾發(fā)布了新一代AI芯片Gaudi 3，可對(duì)標(biāo)英偉達(dá)H100。Gaudi 3采用5nm工藝制造，具有64個(gè)第五代張量處理核心、8個(gè)矩陣計(jì)算引擎，24個(gè)200 Gbps以太網(wǎng)RDMA NIC，以太網(wǎng)的通用標(biāo)準(zhǔn)能連接數(shù)萬(wàn)個(gè)加速器，最高16條PCIe 5.0總線。與Gaudi 2相比，Gaudi 3的FP8吞吐量達(dá)到1835 TFLOPS，BF16性能提升四倍，網(wǎng)絡(luò)帶寬提升兩倍，內(nèi)存帶寬提升1.5倍。
英偉達(dá)H100芯片是在2023年發(fā)布的產(chǎn)品，采用4nm工藝，搭載了最新Hopper架構(gòu)，集成Transformer引擎、第四代TensorCore、第四代張量?jī)?nèi)核等技術(shù)。支持PCle Gen5和利用HBM3，憶體頻寬達(dá)到3TB/s，F(xiàn)P8算力與A100相比提升了3倍，達(dá)4000TFLOPS。
在今年3月的英偉達(dá)GTC人工智能大會(huì)，英偉達(dá)還發(fā)布了Blackwell B200 GPU，有著2080億個(gè)晶體管，H100的FP4性能為4 petaflops，而B(niǎo)200能提供高達(dá)20 petaflops FP4的算力。兩個(gè)B200與單個(gè)英偉達(dá)Grace CPU相連，打造出GB200 Grace Blackwell超級(jí)芯片。
在AI芯片新的競(jìng)爭(zhēng)階段，廠商都更加重視芯片的推理能力，從英特爾和英偉達(dá)的新品正好說(shuō)明了這一點(diǎn)。英特爾Gaudi系列面向AI應(yīng)用場(chǎng)景，其推理能力也在不斷提升，Gaudi 3的模型訓(xùn)練速度提升40%，推理速度則提升50%。
英偉達(dá)介紹，H100采用了新的Transformer Engine專門(mén)用于加速Transformer模型的訓(xùn)練和推理，在進(jìn)行語(yǔ)言模型的訓(xùn)練和推理時(shí)，訓(xùn)練速度是A100的9倍，推理速度是A100的30倍。Blackwell GPU更是能提供30倍的推理性能，AI訓(xùn)練和大模型實(shí)時(shí)推理的規(guī)模擴(kuò)展到10萬(wàn)億參數(shù)。
高通也在2023年10月發(fā)布驍龍X Elite，這是一款面向Windows 11 PC的旗艦PC芯片，集成了Oryon CPU、Adreno GPU、Hexagon NPU，支持在端側(cè)運(yùn)行超過(guò)130億參數(shù)的生成式AI模型。
在當(dāng)時(shí)的發(fā)布會(huì)上，高通透露搭載驍龍X Elite芯片的筆記本電腦在今年中期面世。近期已有消息顯示，聯(lián)想YOGA Slim 7 14 2024驍龍版，以及一款命名為T(mén)hinkPad T14s Gen 6驍龍版的筆記本或?qū)⒋钶d高通驍龍X Elite芯片。高通驍龍X Elite芯片會(huì)給聯(lián)想AI PC帶來(lái)哪些AI性能，值得期待。
而英偉達(dá)的H100已經(jīng)應(yīng)用在其超級(jí)計(jì)算機(jī)Eos中，總共搭載了4608個(gè)H100 GPU，還有1,152個(gè)英特爾至強(qiáng)Platinum 8480C處理器。Eos被認(rèn)為是英偉達(dá)速度最快的人工智能超級(jí)計(jì)算機(jī)，可用于人工智能和高性能計(jì)算工作負(fù)載。
每一代AI芯片的推出，都有它各自的應(yīng)用定位。從終端市場(chǎng)來(lái)看，AI技術(shù)已經(jīng)從手機(jī)、PC滲透進(jìn)更多終端產(chǎn)品，未來(lái)會(huì)走向高性能PC、工作站等，不管是面向TO C，還是TO B的行業(yè)場(chǎng)景（服務(wù)業(yè)、制造業(yè)等），所需要的算力將隨著應(yīng)用需求逐步提升，也會(huì)提高推理芯片的要求。未來(lái)推理芯片在AI終端會(huì)迎來(lái)怎么樣的發(fā)展，又會(huì)提升哪些應(yīng)用體驗(yàn)，值得期待。
