榮耀、OPPO、VIVO、小米各大廠商都相繼開始支持大模型在手機(jī)端的應(yīng)用，聯(lián)想也剛發(fā)布了全球首款A(yù)I PC。
相比云端，在終端運(yùn)行AI究竟能帶來哪些直觀價值？作為消費(fèi)者，我們又可以期待些什么？
12月28日，虎嗅智庫舉辦了502線上同行主題研討活動，來自上海人工智能技術(shù)協(xié)會首席咨詢顧問尹智、亞馬遜云科技資深解決方案架構(gòu)師賀楊、中科創(chuàng)達(dá)物聯(lián)網(wǎng)事業(yè)群副總裁楊新輝、億智電子AI研究院院長孔文海、啟英泰倫芯片技術(shù)總監(jiān)王書娟，就端側(cè)AI的產(chǎn)業(yè)生態(tài)進(jìn)行了前沿觀點(diǎn)分享。
以下為嘉賓的部分觀點(diǎn)摘要：
應(yīng)用驅(qū)動發(fā)展，端側(cè)AI逐步剛需
● 目前來看，不論國內(nèi)國外端側(cè)AI都還沒有形成一個固定的生態(tài)和框架，現(xiàn)在所看到的這些所謂開源和推理，都還沒有統(tǒng)一的集大成者出現(xiàn)。
● 端側(cè)AI的需求是由應(yīng)用驅(qū)動的，選擇云還是端側(cè)AI，主要取決于用戶的選擇，比如交通領(lǐng)域，需要做一些人流分析，包括人臉識別，這種對延遲性要求高的場景就會有比較剛性的需求。另外，從成本和傳輸方面也是考量因素，畢竟全視頻流在帶寬和流量上都有一定壓力，如果端側(cè)AI能夠分擔(dān)一部分云端壓力，價值是很真實(shí)的。
● 云端有云端的優(yōu)勢，它可以快速的去做模型迭代和收斂，而且它的算力強(qiáng)，數(shù)據(jù)收集和訓(xùn)練都很方便，但云端也有一些劣勢，比如云端識別要依賴于網(wǎng)絡(luò)，如果網(wǎng)絡(luò)不穩(wěn)定，信號覆蓋不到或者信號質(zhì)量差，服務(wù)器處理能力不行的情況下，它的識別會非常不穩(wěn)定。其次就是云端無法保證用戶的隱私安全，存在泄漏風(fēng)險。再就是云端的運(yùn)行成本非常高，因?yàn)樗罱?，涉及到搭建服?wù)器、升級、維護(hù)，包括便利和傳輸數(shù)據(jù)的傳輸，這無形當(dāng)中都會帶來非常大的成本,雖然現(xiàn)在互聯(lián)網(wǎng)廠商在承擔(dān)這個成本，但長期來看，會轉(zhuǎn)嫁到用戶身上去。而這些問題，也會制約一些智能終端設(shè)備的發(fā)展和升級。
● 對應(yīng)的，采用端側(cè)AI的剛需性也是這幾個方面，第一是延遲，像自動駕駛這種特殊場景如果通過云端反饋過來，直接就會出安全問題；第二成本也很重要，用手機(jī)端的算力跑AI可以極大節(jié)約成本；第三是隱私安全可以得到保障。
● 以家具家電這類功能性比較強(qiáng)的設(shè)備為例，我們經(jīng)常用到的空調(diào)，煙機(jī)，微波爐，風(fēng)扇，跑步機(jī)，這些不需要聯(lián)網(wǎng)就能在終端做指令的喚醒和識別，這對用戶來說是端側(cè)AI帶來的便利。包括像一些語音識別的場景，會議系統(tǒng)的紀(jì)要DEMO自動生成、會議摘要的快速整理之類，雖然云端也可以完成這件事情，但本地端顯然可以更敏捷高效的解決這些需求。
● 運(yùn)行在汽車端時，端側(cè)AI可以實(shí)現(xiàn)多任務(wù)下發(fā)，聯(lián)動一系列指令，比如我說“請幫我打開車窗，并且導(dǎo)航到北京西站，然后播放一首劉德華的音樂”，這樣的長指令在以前是很難實(shí)現(xiàn)的，雖然現(xiàn)在云端和端側(cè)都可以實(shí)現(xiàn)，但從用戶體驗(yàn)的一致性來說，他會期待無論車走到什么地方，即使進(jìn)入隧道或不能聯(lián)網(wǎng)時，也能有這樣的絲滑感，所以基于這樣的需求，就只能靠端側(cè)AI，而且隨著它的能力邊界越來越清晰，也會越來越好用。
AI芯片在場景中做衍生，混合AI是趨勢
● 從現(xiàn)在那些算法的演進(jìn)來看，大部分都是在英偉達(dá)的CUDA生態(tài)上去做加速或者訓(xùn)練，所以算法的發(fā)展進(jìn)程比端側(cè)AI芯片要早得多。
● 端側(cè)AI芯片具體要設(shè)計(jì)成什么樣，跟不同公司和不同業(yè)務(wù)場景相關(guān)，正常一個周期在一年左右，快的半年。一般芯片出來之后，算法還會去做衍生，切入不同應(yīng)用場景，可能是做車、做機(jī)器人、做物聯(lián)網(wǎng)設(shè)備等等。未來需要平衡的是成本和性能，并最終由市場來定義性價比。目前從半導(dǎo)體的成熟度看，還需要比較長的時間周期來使端側(cè)AI這個產(chǎn)品成熟和廣泛利用。
● 混合AI，就是說除了云端，端測和邊測上的AI也會發(fā)展起來，這個背景實(shí)際上是產(chǎn)業(yè)鏈分工的問題。AI大模型這么大的發(fā)展勢頭，做端側(cè)芯片的廠商不可能不去參與，大家都做，就推動了半導(dǎo)體產(chǎn)業(yè)的進(jìn)步。現(xiàn)在除了手機(jī)以外，AIPC也在成為熱點(diǎn)，就是加載這種AI處理能力的筆記本形態(tài)的產(chǎn)品在不斷出來。
● 對于不同場景的不同需求，怎么精細(xì)定義AI能力邊界的識別問題，這是一個很難的工作，比如到底3B，20B，70B還是130B的模型，每一個模型在不同的場景下，到底有多好用，這是目前業(yè)內(nèi)都在尋找邊界的工作。但實(shí)際上，我們看起來現(xiàn)在從3B到7B的模型，盡管它的模型能力在參數(shù)小的情況下很有限，但已經(jīng)遠(yuǎn)比以前沒有大模型時代的能力要大幅提升了。
● 現(xiàn)在行業(yè)整體還很早期，有很多創(chuàng)新的可能，而且我們看到半導(dǎo)體廠商和模型廠商提供了這些基礎(chǔ)技術(shù)能力后，可能會有成千上萬或者上百萬的這樣的AI原生應(yīng)用爆發(fā)式出現(xiàn)，相應(yīng)的也就會產(chǎn)生新的開發(fā)者生態(tài)，也就會有更多的人會去思考，基于邊緣端AI或者端側(cè)AI到底能做什么樣的技術(shù)創(chuàng)新，到時候場景的想象空間會更大。