本文來自微信公眾號(hào)“半導(dǎo)體行業(yè)觀察”。
Jensen Huang聲稱Nvidia的新型Grace Hopper Superchip將CPU和GPU結(jié)合在一個(gè)集成模塊上，與傳統(tǒng)CPU相比，可以降低能源成本，同時(shí)為生成式AI工作負(fù)載提供更快的性能。他表示，該芯片還可以幫助企業(yè)節(jié)省大量資本成本，以實(shí)現(xiàn)與CPU相同的基準(zhǔn)性能。
Nvidia首席執(zhí)行官黃仁勛有一句口頭禪，他在上周的SIGGRAPH 2023主題演講中說過多次，幾乎成了一個(gè)笑話：“買的越多，省的越多。”
黃仁勛指的是這家GPU巨頭的斷言，即與傳統(tǒng)CPU相比，其AI芯片可以為公司節(jié)省大量成本，因?yàn)樗J(rèn)為未來的數(shù)據(jù)中心是由對(duì)生成式AI功能的需求推動(dòng)的，依賴大型語言模型(LLM)回答用戶查詢并為各種應(yīng)用程序生成內(nèi)容。
“未來的典型用例是幾乎所有事物前端的大型語言模型：每個(gè)應(yīng)用程序，每個(gè)數(shù)據(jù)庫，每當(dāng)您與計(jì)算機(jī)交互時(shí)，您可能首先會(huì)參與大型語言模型，“他說。
黃說，英偉達(dá)的人工智能芯片可以為專注于大型語言模型和其他計(jì)算密集型工作負(fù)載的數(shù)據(jù)中心運(yùn)營(yíng)商節(jié)省資金，因?yàn)檫@些芯片比CPU運(yùn)行得更快、更高效，而且他們購買的芯片越多，獲得的芯片就越多。
“這就是加速計(jì)算將成為前進(jìn)道路的原因。這就是全球數(shù)據(jù)中心快速過渡到加速計(jì)算的原因。”黃仁勛說道。
“有些人說——你們可能聽說過，我不知道是誰說的——但是你買的越多，你節(jié)省的就越多。這就是智慧。”他補(bǔ)充道，行業(yè)愛好者們也跟著笑了起來。
但盡管氣氛搞笑，黃對(duì)潛在的主張很嚴(yán)肅，強(qiáng)調(diào)這些觀點(diǎn)應(yīng)該是他主題演講的主要內(nèi)容。
利用人工智能芯片節(jié)省能源和資本成本
為了說明Nvidia芯片在數(shù)據(jù)中心中的優(yōu)勢(shì)，黃仁勛舉了幾個(gè)例子，將它們與CPU進(jìn)行比較，一個(gè)重點(diǎn)是它們?nèi)绾卧谔岣咝阅艿耐瑫r(shí)降低數(shù)據(jù)中心的總體功耗預(yù)算，另一個(gè)重點(diǎn)是芯片如何顯著降低資本成本。
黃仁勛的示例基于該公司迄今為止最先進(jìn)的人工智能芯片Grace Hopper Superchip，該芯片結(jié)合了72核Grace CPU和Hopper H100 GPU，通過高帶寬芯片間互連以及480GB LPDDR5x內(nèi)存連接如果明年推出更新版本，則將配備141GB HBM3e高帶寬內(nèi)存。
在功率預(yù)算示例中，Huang提供了一個(gè)預(yù)算為1億美元的假設(shè)數(shù)據(jù)中心，該數(shù)據(jù)中心正在運(yùn)行他認(rèn)為是生成式AI用例的代表性工作負(fù)載組：Meta的Llama 2 LLM與矢量數(shù)據(jù)庫和穩(wěn)定擴(kuò)散結(jié)合使用XL法學(xué)碩士。
數(shù)據(jù)中心運(yùn)營(yíng)商可以使用1億美元購買8,800個(gè)英特爾Xeon Platinum 8480+CPU，這是其最新服務(wù)器芯片系列中速度最快、核心數(shù)量最多的處理器之一，這些處理器將為數(shù)據(jù)中心提供5兆瓦的功率預(yù)算，黃說。
相比之下，1億美元還可以購買2,500個(gè)Grace Hopper Superchips，并將數(shù)據(jù)中心的電力預(yù)算減少到3兆瓦。此外，黃說，數(shù)據(jù)中心能夠在LLM和數(shù)據(jù)庫工作負(fù)載上運(yùn)行推理，速度比僅CPU配置快12倍。
他補(bǔ)充說，這意味著能源效率提高了20倍，而按照摩爾定律，傳統(tǒng)芯片制造商需要“很長(zhǎng)時(shí)間”才能實(shí)現(xiàn)這種水平的提高，摩爾定律是英特爾倡導(dǎo)的觀察結(jié)果，即晶體管數(shù)量集成電路每?jī)赡昃蜁?huì)增加一倍，從而帶來性能和效率的提升。
“這是效率和吞吐量的巨大進(jìn)步，”黃說。
在另一個(gè)例子中，黃以同樣價(jià)值1億美元的數(shù)據(jù)中心為例，配備8,800個(gè)英特爾至強(qiáng)CPU，并表示如果數(shù)據(jù)中心運(yùn)營(yíng)商想要使用Grace Hopper Superchips實(shí)現(xiàn)相同的性能，只需花費(fèi)800萬美元和260千瓦的功率預(yù)算。
“因此功耗降低了20倍，成本降低了12倍，”他說。
合作伙伴表示Nvidia的口號(hào)是正確的
Nvidia頂級(jí)合作伙伴的兩位高管告訴CRN，他們的公司已經(jīng)證明，當(dāng)客戶從基于CPU的數(shù)據(jù)中心基礎(chǔ)設(shè)施切換到由GPU驅(qū)動(dòng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施時(shí)，他們可以在許多情況下提高計(jì)算密集型應(yīng)用程序的性能并節(jié)省資金。
總部位于德克薩斯州休斯敦的Mark III Systems首席技術(shù)官Andy Lin表示：“過去5到10年，我們一直在讓人們從CPU轉(zhuǎn)向使用GPU，這極大地加快了這些工作的速度并降低了成本。”今年被評(píng)為Nvidia北美頂級(jí)醫(yī)療保健合作伙伴。
Lin表示，他對(duì)像Grace Hopper這樣的芯片能夠通過在CPU和GPU之間創(chuàng)建內(nèi)存一致性以及刪除通用x86 CPU中不必要的功能來進(jìn)一步提高性能和效率感到興奮。
“當(dāng)你有專門為這些類型的工作負(fù)載構(gòu)建的東西時(shí)，經(jīng)濟(jì)效益往往會(huì)更好，因?yàn)樗鼈兪菍ｉT為此設(shè)計(jì)的，而不是在通用x86 CPU中產(chǎn)生大量浪費(fèi)，因?yàn)樗鼈冇斜仨毧紤]的東西所有可能性，不僅僅是你的深度學(xué)習(xí)工作，不僅僅是你的機(jī)器學(xué)習(xí)或支持加速器的軟件，”他說。
總部位于馬薩諸塞州普利茅斯的Microway負(fù)責(zé)高性能計(jì)算和人工智能營(yíng)銷和客戶參與的副總裁Brett Newman表示，他的大多數(shù)客戶在將工作負(fù)載從計(jì)算機(jī)中轉(zhuǎn)移出來時(shí)，經(jīng)常會(huì)利用在資本成本和能源方面節(jié)省的成本。CPU到GPU。
“最常見的結(jié)果實(shí)際上是混合。他們會(huì)說，‘太好了，我將[使用]一些通過加速計(jì)算可能節(jié)省的資金來[獲得]性能的整體提升。但我也會(huì)節(jié)省電力和能源效率，”他說。
自從英偉達(dá)幾年前率先推出GPU計(jì)算以加速科學(xué)計(jì)算工作負(fù)載以來，紐曼一直看到這一主題。
他補(bǔ)充說，現(xiàn)在許多組織都在開發(fā)生成式人工智能應(yīng)用程序以滿足高行業(yè)需求，因此更需要從GPU中榨取盡可能多的性能。
“他們對(duì)計(jì)算有著持續(xù)不斷的需求，他們會(huì)利用任何可以獲得的計(jì)算能力進(jìn)步。有時(shí)，節(jié)省電力預(yù)算是件好事，但有時(shí)他們會(huì)說，‘太好了，然后我想運(yùn)行下一個(gè)計(jì)算量更大的應(yīng)用程序，’紐曼說。
英特爾、AMD推出新型人工智能芯片加劇競(jìng)爭(zhēng)
黃仁勛在SIGGRAPH主題演講中沒有提到的是，雖然英特爾正在努力推廣其用于某些人工智能工作負(fù)載的CPU，但更大的競(jìng)爭(zhēng)對(duì)手正在大力推動(dòng)銷售與Nvidia的GPU競(jìng)爭(zhēng)的強(qiáng)大人工智能芯片。其中包括來自Habana業(yè)務(wù)和數(shù)據(jù)中心GPU的Gaudi深度學(xué)習(xí)處理器，其中最強(qiáng)大的處理器于今年早些時(shí)候推出。
紐曼表示，考慮到英偉達(dá)“令人難以置信的產(chǎn)品和路線圖”，他認(rèn)為英特爾不會(huì)變得更具競(jìng)爭(zhēng)力，直到這家半導(dǎo)體巨頭合并其人工智能芯片路線圖并將其Gaudi芯片技術(shù)融入未來的GPU中，從Falcon Shores開始。2025年。
“問題在于產(chǎn)品何時(shí)上市以及上市后的情況如何，”他說。
當(dāng)談到Nvidia的另一個(gè)主要競(jìng)爭(zhēng)對(duì)手AMD時(shí)，紐曼認(rèn)為，當(dāng)AMD今年晚些時(shí)候推出Instinct MI300芯片時(shí)，競(jìng)爭(zhēng)對(duì)手的芯片設(shè)計(jì)商可能會(huì)“在正確的時(shí)間擁有很多正確的東西”。
“現(xiàn)在，感覺每個(gè)人都想分一杯羹。而且這塊蛋糕做得越來越大，可能足以讓每個(gè)人都從中擁有真正健康的業(yè)務(wù)，”他說。
