本文來(lái)自至頂網(wǎng)（cio.zhiding.cn），來(lái)源 | 至頂網(wǎng)CIO與CTO頻道。
早期采用生成式AI的人通常使用ChatGPT、微軟Copilot和類(lèi)似的SaaS工具，這些工具雖然需要花錢(qián)，但不會(huì)帶來(lái)基礎(chǔ)設(shè)施方面的挑戰(zhàn)。然而，隨著企業(yè)的縱向擴(kuò)展，這些挑戰(zhàn)開(kāi)始顯現(xiàn)出來(lái)。
那些嘗試使用生成式AI的組織，通常會(huì)使用基于云的服務(wù)（例如OpenAI的ChatGPT或者Anthropic的Claude）來(lái)設(shè)置企業(yè)級(jí)帳戶，早期的現(xiàn)場(chǎng)測(cè)試和生產(chǎn)力效益可能會(huì)激勵(lì)他們尋找更多機(jī)會(huì)來(lái)部署這項(xiàng)技術(shù)。
全球咨詢公司SSA&Company應(yīng)用解決方案負(fù)責(zé)人Nick Kramer表示：“企業(yè)使用生成式AI來(lái)制作執(zhí)行摘要或營(yíng)銷(xiāo)內(nèi)容，明年，我們將看到這類(lèi)企業(yè)用例的采用和標(biāo)準(zhǔn)化程度進(jìn)一步提高，而且生成式AI將被內(nèi)置到企業(yè)使用的其他應(yīng)用中。大多數(shù)價(jià)值創(chuàng)造都發(fā)生在這些方面。”
例如，Adobe的Photoshop現(xiàn)在具有了生成式AI功能。谷歌和微軟也在他們的生產(chǎn)力平臺(tái)中推出了生成式AI功能，Salesforce和大多數(shù)其他企業(yè)廠商也是如此。不過(guò)，新功能可能會(huì)產(chǎn)生額外的成本，但是由廠商來(lái)應(yīng)對(duì)任何潛在基礎(chǔ)設(shè)施挑戰(zhàn)的。
雖然每個(gè)人都可以使用ChatGPT，或者擁有Office 365和Salesforce，但為了讓生成式AI成為差異化因素或競(jìng)爭(zhēng)優(yōu)勢(shì)，企業(yè)需要找到能夠超越其他人的方法，這就意味著創(chuàng)建定制的模型、微調(diào)現(xiàn)有的模型、或者使用檢索增強(qiáng)生成（RAG）嵌入，讓生成式AI系統(tǒng)能夠訪問(wèn)最新且準(zhǔn)確的企業(yè)信息。這意味著，企業(yè)必須在訓(xùn)練和部署這些系統(tǒng)的基礎(chǔ)設(shè)施上進(jìn)行投資。
電信測(cè)試公司Spirent早期只使用聊天機(jī)器人的公司之一——具體來(lái)說(shuō)，是OpenAI ChatGPT的企業(yè)版，承諾可以保護(hù)企業(yè)數(shù)據(jù)。
Spirent企業(yè)技術(shù)和戰(zhàn)略副總裁Matt Bostrom表示：“我們不希望我們的數(shù)據(jù)進(jìn)入到公共模型中，企業(yè)版滿足了這個(gè)需求，所以我們不必構(gòu)建自己的大型語(yǔ)言模型。當(dāng)時(shí)，OpenAI擁有最好的大型語(yǔ)言模型，不過(guò)現(xiàn)在Claude正在挑戰(zhàn)這一點(diǎn)，我們也使用它的模型。”
Spirent仍然保持著這一狀態(tài)，為公司內(nèi)部用戶提供130多個(gè)許可，他們使用標(biāo)準(zhǔn)聊天界面，并且不需要API成本或集成。“你只是在使用他們的應(yīng)用并為用戶許可付費(fèi)，”他說(shuō)。
但這只是一個(gè)開(kāi)始。“我們知道我們想要把AI嵌入到我們現(xiàn)有的應(yīng)用中。Salesforce和其他廠商都有可以添加的AI模塊，但我們希望更具體一點(diǎn)，可以適應(yīng)我們的用例。”這意味著Spirent公司必須做一些嚴(yán)肅的基礎(chǔ)設(shè)施工作，就像大多數(shù)企業(yè)級(jí)AI項(xiàng)目一樣，要從數(shù)據(jù)開(kāi)始著手。
最大限度地發(fā)揮數(shù)據(jù)的潛力
根據(jù)德勤第三季度發(fā)布的生成式AI報(bào)告顯示，有75%的組織由于生成式AI而增加了數(shù)據(jù)生命周期管理方面的支出。
Bostrom表示：“去年11月我加入公司的時(shí)候，我們通過(guò)AWS進(jìn)行了數(shù)據(jù)現(xiàn)代化，我們轉(zhuǎn)向了AWS技術(shù)堆棧，包括結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。”
將數(shù)據(jù)從舊系統(tǒng)轉(zhuǎn)移到現(xiàn)代化系統(tǒng)，這是構(gòu)建AI的關(guān)鍵。他說(shuō)：“如果你有數(shù)據(jù)問(wèn)題或者數(shù)據(jù)完整性問(wèn)題，你就不會(huì)得到很好的結(jié)果。”他說(shuō)，一旦數(shù)據(jù)整理好了，把數(shù)據(jù)移動(dòng)到需要的地方就成了另一個(gè)挑戰(zhàn)。
“我們公司有集成工具，但是很舊的、過(guò)時(shí)的工具，”他說(shuō)。要實(shí)現(xiàn)生成式AI所需的大規(guī)模集成，就要進(jìn)行大量且昂貴的升級(jí)。
相反，Spirent公司決定采用SnapLogic作為集成層，以實(shí)現(xiàn)項(xiàng)目所需的規(guī)模。他說(shuō)：“我們?cè)u(píng)估了很多不同的廠商，這個(gè)廠商的能力最強(qiáng)。他們正在推出自己的AI構(gòu)建器，這將為我們節(jié)省下購(gòu)買(mǎi)其他附加組件的費(fèi)用。”
因此，Spirent公司使用AI來(lái)測(cè)試產(chǎn)品中的數(shù)據(jù)，幫助提供客戶支持和內(nèi)部生產(chǎn)力，Bostrom說(shuō)。例如，當(dāng)一名員工需要在Salesforce中創(chuàng)建新的銷(xiāo)售宣傳內(nèi)容時(shí)，他可以按下按鈕，然后從公司的SharePoint存儲(chǔ)庫(kù)中檢索和打包相關(guān)內(nèi)容。
相關(guān)內(nèi)容可能包括數(shù)千頁(yè)信息（例如特定國(guó)家的合規(guī)規(guī)則），這些內(nèi)部信息將通過(guò)存儲(chǔ)在Salesforce平臺(tái)中的數(shù)據(jù)進(jìn)行擴(kuò)充，并作為微調(diào)提示的一部分發(fā)送給AI。然后答案再返回到Salesforce，員工可以查看響應(yīng)內(nèi)容、編輯內(nèi)容、并通過(guò)常規(guī)Salesforce流程發(fā)送出去。
“這只是其中一個(gè)例子，現(xiàn)在人們已經(jīng)嘗試過(guò)了，我們創(chuàng)造了越來(lái)越多的功能，我們有一個(gè)沖洗和重復(fù)的循環(huán)。”
將數(shù)據(jù)轉(zhuǎn)移到現(xiàn)代倉(cāng)庫(kù)并實(shí)施現(xiàn)代數(shù)據(jù)管道，這是一個(gè)巨大的進(jìn)步，但并沒(méi)有解決Spirent公司所有的AI基礎(chǔ)設(shè)施挑戰(zhàn)。
Bostrom表示：“我們是一家全球性公司，大型語(yǔ)言模式有地區(qū)方面的限制。OpenAI已經(jīng)封鎖了某些國(guó)家，Claude也是如此。我們?cè)谌蚨加袉T工，我們不想違反任何政策，所以我們必須想辦法引導(dǎo)員工獲得他們所在國(guó)家批準(zhǔn)的大型語(yǔ)言模型。”
補(bǔ)救措施之一就是區(qū)域部署選項(xiàng)，例如，新加坡的AWS數(shù)據(jù)中心可能支持中國(guó)用戶，但并非所有的大型語(yǔ)言模型都可在這里使用。
也有開(kāi)源的大型語(yǔ)言模型，企業(yè)可以在任何需要的地方自行運(yùn)行，但可用資源短缺，即使是像Amazon這樣的巨頭也是如此。“這些資源正在被采購(gòu)和使用，要獲得托管Mistral所需的強(qiáng)大服務(wù)器資源是很難的。”因此，目前Spirent公司堅(jiān)持與OpenAI等大型商業(yè)提供商合作，并通過(guò)API訪問(wèn)大型語(yǔ)言模型。
Spirent公司也沒(méi)有構(gòu)建自己的矢量數(shù)據(jù)庫(kù)。就RAG來(lái)說(shuō)這是很常見(jiàn)的，RAG是一種提高準(zhǔn)確性和及時(shí)性的AI策略，可以減少幻覺(jué)，同時(shí)避免必須在敏感數(shù)據(jù)或者專(zhuān)有數(shù)據(jù)上訓(xùn)練或微調(diào)AI帶來(lái)的問(wèn)題。
Bostrom表示：“現(xiàn)在有一種拖放功能，可以自動(dòng)創(chuàng)建矢量數(shù)據(jù)庫(kù)，我們還有一種助手功能，可以把一千個(gè)文件放進(jìn)去，所以我們不需要購(gòu)買(mǎi)自己的向量存儲(chǔ)。”
變化帶來(lái)選擇
Spirent公司決定使用公有云來(lái)保存數(shù)據(jù)，這是一種流行的做法。根據(jù)Flexential今年夏天發(fā)布的一項(xiàng)大型公司調(diào)查，有59%的公司使用公有云來(lái)存儲(chǔ)AI訓(xùn)練和推理所需的數(shù)據(jù)，有60%的公司使用主機(jī)托管提供商，有49%的公司使用本地基礎(chǔ)設(shè)施。幾乎所有公司都有AI路線圖，超過(guò)一半的公司計(jì)劃增加基礎(chǔ)設(shè)施投資，以滿足更多AI工作負(fù)載的需求。但企業(yè)正在尋找公有云之外的方法來(lái)滿足他們對(duì)AI計(jì)算的需求，最受歡迎的選擇，就是專(zhuān)門(mén)的GPU即服務(wù)廠商，有34%的大公司都在使用這種類(lèi)型的供應(yīng)商。
以業(yè)務(wù)流程外包公司TaskUs為例，該公司在擴(kuò)大生成式AI部署的過(guò)程中，看到了對(duì)更多基礎(chǔ)設(shè)施投資的需求。該公司首席信息官Chandra Venkataramani表示，這一挑戰(zhàn)并不令人感到意外，但確實(shí)意味著企業(yè)要謹(jǐn)慎控制成本。“我們不想沉迷于技術(shù)，也不想為此瘋狂。”具體來(lái)說(shuō)，TaskUs需要來(lái)回移動(dòng)更多的計(jì)算和數(shù)據(jù)。
Cognizant公司高級(jí)副總裁、全球AI和分析負(fù)責(zé)人Naveen Sharma表示，AI計(jì)算主要有兩種類(lèi)型，面臨著不同的挑戰(zhàn)。在訓(xùn)練方面，延遲不是一個(gè)很大的問(wèn)題，因?yàn)檫@些工作負(fù)載對(duì)時(shí)間是不敏感的。企業(yè)可以在非工作時(shí)間在更便宜的地方進(jìn)行訓(xùn)練或微調(diào)。“我們對(duì)毫秒級(jí)的響應(yīng)沒(méi)有期望，公司也更為寬容一些。”
AI計(jì)算的另一個(gè)主要用途是推理，即使用經(jīng)過(guò)訓(xùn)練的AI模型來(lái)實(shí)際回答問(wèn)題，這通常是需要實(shí)時(shí)進(jìn)行的。Sharma說(shuō)：“除非你有能力要求客戶等待模型做出響應(yīng)，否則推理就會(huì)成為一大問(wèn)題。”
例如，他說(shuō)，他看到達(dá)拉斯和休斯頓地區(qū)的需求很高。“由于所有AI公司都搬到了那里，整個(gè)地區(qū)對(duì)計(jì)算的需求都非常迫切，而且可能會(huì)有一些與石油和天然氣相關(guān)的工作，也許這就是導(dǎo)致需求激增的原因。”
位置也可能是另一個(gè)問(wèn)題——數(shù)據(jù)主權(quán)法規(guī)。在某些司法管轄區(qū)，出于合規(guī)原因，數(shù)據(jù)是不允許離開(kāi)的。“如果你的數(shù)據(jù)僅限于你所在的地區(qū)，那么你就只能使用該地區(qū)的容量，”Sharma說(shuō)。
如果超大規(guī)模企業(yè)無(wú)法提供所需的容量，而一家企業(yè)在主機(jī)托管設(shè)施或本地沒(méi)有自己的數(shù)據(jù)中心，那么另一個(gè)主要替代方案就是GPU即服務(wù)提供商，而且這類(lèi)廠商的發(fā)展勢(shì)頭十分強(qiáng)勁，Sharma說(shuō)：“如果你的超大規(guī)模計(jì)算平臺(tái)無(wú)法以合適的價(jià)格為你提供足夠的服務(wù)，那么還有其他的選擇。”
Sharma表示，對(duì)于那些知道自己對(duì)AI計(jì)算有一定需求的企業(yè)來(lái)說(shuō)，把其中一部分需求帶到自己的數(shù)據(jù)中心，并從按需定價(jià)轉(zhuǎn)向固定定價(jià)，從長(zhǎng)期財(cái)務(wù)角度來(lái)看是合理的。
賦能試點(diǎn)
Flexential的調(diào)查還顯示，有43%的公司面臨帶寬短缺問(wèn)題，34%的公司在擴(kuò)展數(shù)據(jù)中心空間和功率以滿足AI工作負(fù)載要求方面遇到了問(wèn)題，其他問(wèn)題包括連接不可靠和延遲過(guò)大等。只有18%的公司稱(chēng)，在過(guò)去12個(gè)月中，他們的AI應(yīng)用或工作負(fù)載沒(méi)有出現(xiàn)過(guò)任何問(wèn)題。因此，商業(yè)咨詢公司Kearney的數(shù)字和分析業(yè)務(wù)合伙人Bharath Thota表示，2023年是AI試點(diǎn)和概念驗(yàn)證的一年，這么說(shuō)是有道理的。今年是各家企業(yè)試圖擴(kuò)大這些試點(diǎn)規(guī)模的一年。
“這就是挑戰(zhàn)所在，這對(duì)AI來(lái)說(shuō)并不是什么新鮮事。但由于需要訪問(wèn)的數(shù)據(jù)量大得多，因此問(wèn)題變得越來(lái)越嚴(yán)重。”生成式AI不僅消耗了越來(lái)越多的數(shù)據(jù)，還產(chǎn)生了越來(lái)越多的數(shù)據(jù)，這是企業(yè)通常沒(méi)有預(yù)料到的一個(gè)問(wèn)題。
此外，當(dāng)企業(yè)創(chuàng)建一個(gè)模型的時(shí)候，模型是由其訓(xùn)練數(shù)據(jù)和權(quán)重定義的，因此跟蹤不同版本的AI模型可能需要保留每個(gè)單獨(dú)訓(xùn)練數(shù)據(jù)集的副本。Thota說(shuō)，這取決于具體的用例。“沒(méi)有人知道最好的方法是什么，大家都是在迭代中學(xué)習(xí)的。”明年，所有基礎(chǔ)設(shè)施（存儲(chǔ)、連接、計(jì)算和延遲）方面的問(wèn)題只會(huì)越來(lái)越多。
目前，從試點(diǎn)轉(zhuǎn)向生產(chǎn)的生成式AI用例數(shù)量還相對(duì)較少，其中很多都是分階段部署的。隨著越來(lái)越多的試點(diǎn)投入生產(chǎn)，生產(chǎn)項(xiàng)目擴(kuò)大到所有潛在用戶，基礎(chǔ)設(shè)施挑戰(zhàn)將會(huì)越來(lái)越突顯。而僅僅找到一個(gè)可行的解決方案是不夠的，因?yàn)樯墒紸I技術(shù)正在以驚人的速度發(fā)展。Thota說(shuō)：“你需要足夠靈活，能夠在升級(jí)時(shí)進(jìn)行切換。”
此外，還有與AI基礎(chǔ)設(shè)施管理相關(guān)的技能差距或人員短缺問(wèn)題。盡管平臺(tái)和用例都在快速發(fā)展，但管理存儲(chǔ)、網(wǎng)絡(luò)計(jì)算資源并優(yōu)化成本和性能是一個(gè)令人擔(dān)憂的問(wèn)題。不過(guò)，隨著生成式AI變得越來(lái)越智能，它也可能成為一種幫助企業(yè)的方式。
InfoSec Innovations公司高級(jí)合伙人、SANS Institute講師Mick Douglas問(wèn)：“你聽(tīng)說(shuō)過(guò)網(wǎng)絡(luò)即代碼嗎？還有基礎(chǔ)設(shè)施即代碼。對(duì)于一些要進(jìn)行大量計(jì)算的大企業(yè)來(lái)說(shuō)，他們可以開(kāi)始玩一些游戲，比如，在云中擁有非常強(qiáng)大的虛擬機(jī)還是少數(shù)Lambda函數(shù)，哪個(gè)更好？你可以讓AI為你創(chuàng)建一個(gè)抽象層，然后讓AI迭代所有不同的構(gòu)建。”
其中一些優(yōu)化可以通過(guò)機(jī)器學(xué)習(xí)來(lái)完成，而且現(xiàn)在已經(jīng)有這樣做的了。但機(jī)器學(xué)習(xí)的問(wèn)題在于提供商的產(chǎn)品是不斷變化的。傳統(tǒng)分析可以處理數(shù)學(xué)和模擬，而生成式AI可用于找出選項(xiàng)并進(jìn)行更復(fù)雜的分析。
Douglas說(shuō)：“生成式AI的主要優(yōu)勢(shì)在于，你可以以自動(dòng)化的方式制作不同的部署代碼模板，可以省去一些繁重的工作。”
