本文來自微信公眾號(hào)“半導(dǎo)體行業(yè)觀察”。
在這篇文章中，全球戰(zhàn)略咨詢公司Altman Solon探討了生成式人工智能如何影響網(wǎng)絡(luò)基礎(chǔ)設(shè)施。并探討了新興企業(yè)生成式人工智能解決方案對(duì)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)基礎(chǔ)設(shè)施的影響。
生成式人工智能的最佳代言人可能是ChatGPT。這款由OpenAI開發(fā)的聊天、引人入勝的應(yīng)用程序以栩栩如生的方式解答各種問題，令全球數(shù)百萬人眼花繚亂。在幕后，OpenAI令人印象深刻的大型語言模型(LLM)運(yùn)行在龐大的超級(jí)計(jì)算基礎(chǔ)設(shè)施上。就ChatGPT而言，OpenAI依靠其合作伙伴Microsoft Azure的云計(jì)算平臺(tái)來訓(xùn)練該模型。微軟花費(fèi)數(shù)年時(shí)間將數(shù)千個(gè)Nvidia圖形處理單元(GPU)連接在一起，同時(shí)管理冷卻和功率限制。
Altman Solon認(rèn)為，企業(yè)級(jí)生成式人工智能工具的增長將導(dǎo)致對(duì)計(jì)算資源的需求增加，從而對(duì)進(jìn)行訓(xùn)練的核心集中式數(shù)據(jù)中心和進(jìn)行推理的本地?cái)?shù)據(jù)中心產(chǎn)生積極的影響。網(wǎng)絡(luò)提供商應(yīng)該會(huì)看到對(duì)數(shù)據(jù)傳輸網(wǎng)絡(luò)的需求適度增長以及對(duì)專用網(wǎng)絡(luò)解決方案的推動(dòng)。
我們使用四步方法來了解基礎(chǔ)設(shè)施的影響，考慮每個(gè)生成式AI任務(wù)的平均計(jì)算時(shí)間要求、總體生成式AI任務(wù)的數(shù)量、所需的增量計(jì)算要求以及對(duì)基礎(chǔ)設(shè)施價(jià)值鏈的可量化影響。為了滿足這一需求，服務(wù)提供商需要開始規(guī)劃足夠的計(jì)算資源和網(wǎng)絡(luò)容量。
量化企業(yè)生成式人工智能用例
Altman Solon利用我們對(duì)292名高級(jí)商業(yè)領(lǐng)袖的調(diào)查數(shù)據(jù)，計(jì)算了四個(gè)業(yè)務(wù)職能部門（軟件開發(fā)、營銷、客戶服務(wù)和產(chǎn)品開發(fā)/設(shè)計(jì)）每小時(shí)的生成式AI任務(wù)量?？紤]到每個(gè)用例的潛在采用率、每個(gè)用例的平均用戶數(shù)以及每個(gè)用戶每小時(shí)的平均生成式AI任務(wù)，我們估計(jì)明年僅在美國這些關(guān)鍵企業(yè)職能部門每小時(shí)就會(huì)執(zhí)行80-1.3億生成式AI任務(wù)。
跨企業(yè)職能部門每小時(shí)生成的AI任務(wù)
盡管我們的研究表明，客戶服務(wù)采用生成式人工智能解決方案的速度慢于軟件開發(fā)和營銷，但客戶服務(wù)任務(wù)將負(fù)責(zé)企業(yè)生成式人工智能的大部分使用。這主要是由于用戶與生成式人工智能聊天機(jī)器人的交互量巨大。當(dāng)然，計(jì)算不僅僅發(fā)生在LLM被查詢時(shí)。構(gòu)建和使用生成式人工智能需要大量的基礎(chǔ)設(shè)施。
開發(fā)和使用生成式人工智能解決方案：訓(xùn)練和推理對(duì)基礎(chǔ)設(shè)施的影響
構(gòu)建和使用生成式人工智能工具時(shí)，在兩個(gè)不同的階段需要計(jì)算資源：訓(xùn)練模型，然后使用模型響應(yīng)查詢（也稱為“推理”）。訓(xùn)練LL,需要向神經(jīng)網(wǎng)絡(luò)提供大量收集到的數(shù)據(jù)。就ChatGPT而言，大量文本數(shù)據(jù)被輸入到法學(xué)碩士以識(shí)別單詞和語言之間的模式和關(guān)系。隨著模型處理新的文本數(shù)據(jù)，其性能得到改善，分配給神經(jīng)連接的參數(shù)或值也發(fā)生了變化。GPT-3模型包含超過1750億個(gè)參數(shù)；據(jù)推測(cè)GPT-4有1萬億個(gè)參數(shù)。
訓(xùn)練大型語言模型：從研究到人類反饋
盡管迭代大量數(shù)據(jù)來訓(xùn)練模型需要大量計(jì)算，但訓(xùn)練僅在模型開發(fā)期間進(jìn)行，并在模型最終確定后停止。在LLM的生命周期中，訓(xùn)練將占用10-20%的基礎(chǔ)設(shè)施資源。相比之下，推理是大多數(shù)工作負(fù)載發(fā)生的地方。當(dāng)用戶輸入查詢時(shí)，信息將通過生成人工智能應(yīng)用程序的云環(huán)境提供。80-90%的計(jì)算工作負(fù)載發(fā)生在推理期間，并且只會(huì)隨著使用而增加。以ChatGPT為例，訓(xùn)練該模型據(jù)稱需要花費(fèi)數(shù)千萬美元，但據(jù)報(bào)道運(yùn)行該模型每周都會(huì)超過訓(xùn)練成本。
培訓(xùn)生成式人工智能解決方案：公共云和核心集中式數(shù)據(jù)中心感受到的最大計(jì)算影響
生成式人工智能模型往往在集中式核心數(shù)據(jù)中心進(jìn)行訓(xùn)練和存儲(chǔ)，因?yàn)樗鼈儞碛刑幚碓贚LM中循環(huán)的大量數(shù)據(jù)所需的GPU。模型也存放在公共云中并進(jìn)行訓(xùn)練，以消除入口和出口成本，因?yàn)橛?xùn)練數(shù)據(jù)已經(jīng)駐留在公共云中。隨著采用率的增長，我們預(yù)計(jì)推理將更多地在本地進(jìn)行，以緩解訓(xùn)練模型的核心集中式數(shù)據(jù)中心的擁堵。然而，這也有一些限制：生成模型太大，無法容納在傳統(tǒng)的邊緣位置，而傳統(tǒng)的邊緣位置往往具有更高的空間和電力成本，并且無法輕松擴(kuò)展以適應(yīng)資源匱乏的人工智能工作負(fù)載。
“我們[為超級(jí)計(jì)算機(jī)]構(gòu)建了一個(gè)可以大規(guī)模運(yùn)行且可靠的系統(tǒng)架構(gòu)。這就是ChatGPT成為可能的原因。這就是其中的一個(gè)模型。還會(huì)有很多很多其他的，”微軟Azure AI基礎(chǔ)設(shè)施總經(jīng)理Nidhi Chappell說道。
Altman Solon認(rèn)為，生成式人工智能工具的增長將對(duì)公共云產(chǎn)生最重大的影響。公共云提供商應(yīng)重點(diǎn)關(guān)注區(qū)域和彈性容量規(guī)劃以支持需求。在不久的將來，隨著模型的成熟和關(guān)鍵計(jì)算資源變得更便宜，私有云環(huán)境可能會(huì)開始容納和培訓(xùn)法學(xué)碩士。這對(duì)于制藥、金融服務(wù)和醫(yī)療保健等受監(jiān)管領(lǐng)域的行業(yè)特別有用，這些行業(yè)往往更喜歡在私人基礎(chǔ)設(shè)施上開發(fā)和部署人工智能工具。
查詢生成式人工智能工具：主干光纖和城域邊緣網(wǎng)絡(luò)感受到的網(wǎng)絡(luò)影響最大
生成式人工智能工具的網(wǎng)絡(luò)使用受查詢量和復(fù)雜性的影響最大。例如，要求ChatGPT回答一個(gè)基本問題與要求其起草一篇900字的文章對(duì)網(wǎng)絡(luò)使用的影響不同，就像要求Dall-E上的單個(gè)圖像與一系列高清照片或視頻一樣。更長、更復(fù)雜的輸出需要更多的數(shù)據(jù)，影響對(duì)骨干網(wǎng)和城域邊緣網(wǎng)絡(luò)日益增長的需求。對(duì)于連接到主要云平臺(tái)或云環(huán)境之間的光纖尤其如此。我們預(yù)測(cè)，隨著生成式人工智能的成熟并成為消費(fèi)者和企業(yè)的主流，城域邊緣網(wǎng)絡(luò)的使用量將會(huì)增加。查詢的數(shù)量可能會(huì)在特定的云阻塞點(diǎn)產(chǎn)生流量和計(jì)算或存儲(chǔ)飽和，
對(duì)整個(gè)基礎(chǔ)設(shè)施價(jià)值鏈的影響
盡管我們?nèi)蕴幱谏墒饺斯ぶ悄懿捎玫脑缙陔A段，但我們相信，為了滿足不斷增長的計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)需求，基礎(chǔ)設(shè)施提供商應(yīng)通過以下方式進(jìn)行調(diào)整：
核心、集中式數(shù)據(jù)中心：模型開發(fā)人員依賴云提供商來滿足訓(xùn)練的計(jì)算需求。在不久的將來，數(shù)據(jù)中心應(yīng)重點(diǎn)關(guān)注容量規(guī)劃，以確保為訓(xùn)練和推理工作負(fù)載提供足夠的計(jì)算、電力和冷卻資源。從長遠(yuǎn)來看，如果生成式人工智能模型激增，并且圖像和視頻生成法學(xué)碩士數(shù)量增加，那么核心集中式數(shù)據(jù)中心將面臨網(wǎng)絡(luò)和計(jì)算擁塞的真正風(fēng)險(xiǎn)。云提供商可以通過在都市數(shù)據(jù)中心/區(qū)域可用區(qū)提供可處理繁重的生成式人工智能工作負(fù)載的計(jì)算能力來降低這種風(fēng)險(xiǎn)。
此外，生成式人工智能對(duì)核心、集中式數(shù)據(jù)中心和云服務(wù)的需求是通過Cohere和OpenAI等模型提供商來滿足的。因此，核心集中式數(shù)據(jù)中心應(yīng)探索排他性合作伙伴關(guān)系，例如Azure和OpenAI之間的合作伙伴關(guān)系，以確保鎖定。與此同時(shí)，為了避免圍繞單一提供商進(jìn)行整合，核心、集中式數(shù)據(jù)中心還應(yīng)該尋求開源合作伙伴關(guān)系。將LLM技術(shù)集成到PaaS和SaaS業(yè)務(wù)中可能是促進(jìn)采用和增加收入的明智方法。
主干網(wǎng)和城域光纖：需求的增長主要是由訓(xùn)練數(shù)據(jù)、推理提示和模型輸出驅(qū)動(dòng)的。流量拓?fù)湟舶l(fā)生了變化：模型生成的內(nèi)容源自核心、集中式數(shù)據(jù)中心，并且是實(shí)時(shí)生成的。因此，它不能預(yù)先存儲(chǔ)在靠近最終用戶的位置。主干網(wǎng)和城域光纖提供商應(yīng)增加網(wǎng)絡(luò)容量和出口帶寬，以滿足不斷增長的需求。
此外，企業(yè)用戶還擔(dān)心數(shù)據(jù)隱私和駐留，尤其是當(dāng)該數(shù)據(jù)用于訓(xùn)練時(shí)。這些擔(dān)憂可能會(huì)導(dǎo)致對(duì)私有廣域網(wǎng)解決方案的需求增加，尤其是包含云連接的廣域網(wǎng)。最后，人工智能模型越來越多地托管在不同的云提供商或與其他企業(yè)應(yīng)用程序和工作負(fù)載不同的計(jì)算環(huán)境中。這會(huì)導(dǎo)致延遲問題，骨干光纖提供商可以通過互連和對(duì)等來解決這一問題，特別是與核心、集中式數(shù)據(jù)中心和模型提供商。
城域數(shù)據(jù)中心和邊緣計(jì)算：雖然我們預(yù)計(jì)推理將被推送到城域數(shù)據(jù)中心位置，但我們不期望相同的模型被推送到較小的“邊緣”計(jì)算位置。目前，將推理工作負(fù)載推向邊緣并沒有太大的價(jià)值（或可行性），因?yàn)橛?jì)算延遲仍然遠(yuǎn)遠(yuǎn)高于網(wǎng)絡(luò)延遲，并且在核心、集中式數(shù)據(jù)中心很難獲得生成式人工智能硬件，更不用說在邊緣了。然而，在未來，較小的生成式人工智能模型可以針對(duì)邊緣數(shù)據(jù)中心中現(xiàn)成的CPU進(jìn)行優(yōu)化。與此同時(shí)，邊緣計(jì)算環(huán)境還可以針對(duì)補(bǔ)充工作負(fù)載，例如即時(shí)預(yù)處理、圖像或視頻預(yù)處理以及模型輸出增強(qiáng)。
接入：接入網(wǎng)絡(luò)的需求增長相對(duì)較小，因?yàn)樵缙诘纳扇斯ぶ悄芰髁扛愃朴诮尤刖W(wǎng)絡(luò)上的搜索流量。隨著時(shí)間的推移，接入網(wǎng)絡(luò)上生成式人工智能流量的復(fù)雜性和數(shù)量將會(huì)增加（例如生成視頻），但只會(huì)適度影響接入帶寬需求。
本地：本地硬件不滿足生成式人工智能模型的要求，特別是在片上內(nèi)存方面。雖然模型在可預(yù)見的未來不太可能在本地運(yùn)行，但由于數(shù)據(jù)隱私問題以及在移動(dòng)設(shè)備上本地運(yùn)行法學(xué)碩士的吸引力，它是一個(gè)活躍的研究領(lǐng)域。
使用LL,來自動(dòng)化基本業(yè)務(wù)功能不僅會(huì)影響員工和管理層。盡管如此，它也會(huì)影響生成人工智能本身的構(gòu)建模塊，從核心、集中式數(shù)據(jù)中心到原始設(shè)備制造商、芯片制造商和設(shè)計(jì)師。雖然未來尚未書寫，但基礎(chǔ)設(shè)施提供商應(yīng)該考慮如何為需要大量計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源的技術(shù)提供服務(wù)。
