本文來自微信公眾號“電子發(fā)燒友網(wǎng)”，作者/李彎彎。
英偉達(dá)遇到勁敵了？近日，Groq芯片計算速度超過英偉達(dá)GPU的消息刷屏。Groq是一家成立于2016年的AI創(chuàng)企，該公司近日開放了自家產(chǎn)品的免費(fèi)試用，相比其他AI聊天機(jī)器人，Groq閃電般的響應(yīng)速度迅速引爆朋友圈，經(jīng)網(wǎng)友測試，Groq每秒生成速度接近500 tok/s，碾壓GPT-4的40 tok/s。
而這樣的速度背后，源于Groq自研了一種名為張量流處理器（TSP）的新型處理單元，Groq將其命名為語言處理單元，即LPU，它的工作原理與GPU截然不同。
Groq芯片跑大模型的速度有多快
Groq芯片跑大模型最突出的特點，便是快。有網(wǎng)友震驚地說：“它回復(fù)的速度比我眨眼還快。”在傳統(tǒng)生成AI中，等待是很平常的事，經(jīng)常是字符一個個往外蹦，回答完需要挺長時間。而有網(wǎng)友稱，在Groq近日開放的云服務(wù)體驗平臺上，你可以看到，當(dāng)模型收到提示后，幾乎能夠立即生成答案。
電子郵件初創(chuàng)企業(yè)Otherside AI的首席執(zhí)行官兼聯(lián)合創(chuàng)始人馬特·舒默在演示中親自體驗了Groq的強(qiáng)大功能。他稱贊Groq快如閃電，能夠在不到一秒鐘的時間內(nèi)生成數(shù)百個單詞的事實性、引用性答案。更令人驚訝的是，它超過3/4的時間用于搜索信息，而生成答案的時間卻短到只有幾分之一秒。
需要說明的是，Groq并沒有研發(fā)新模型，它只是一個模型啟動器，主頁上運(yùn)行的是開源模型Mixtral 8x7B-32k和Llama 270B-4k。而驅(qū)動模型的硬件便是Groq自研的一種名為張量流處理器（TSP）的新型處理單元，Groq將其命名為語言處理單元，即LPU（Language Processing Units），它的工作原理與GPU截然不同。
各種測試結(jié)果和網(wǎng)友的體驗，都顯示Groq LPU的計算速度相當(dāng)快。根據(jù)2024年一月的測試結(jié)果，由Groq LPU驅(qū)動Meta Llama 2模型，推理性能遙遙領(lǐng)先，是頂級云計算供應(yīng)商的18倍。有報道稱，Groq LPU搭配Meta Llama 2 70B能在7分鐘內(nèi)就能生成與莎士比亞《哈姆雷特》相同數(shù)量的單詞，比普通人的打字速度快75倍。
有網(wǎng)友測試同時用Gemini、GPT-4和Groq完成一個代碼調(diào)試問題，結(jié)果，Groq的輸出速度比Gemini快10倍，比GPT-4快18倍。
有從事人工智能開發(fā)的用戶稱贊，Groq是追求低延遲產(chǎn)品的“游戲規(guī)則改變者”。有用戶認(rèn)為，Groq的LPU可能成為英偉達(dá)A100和H100芯片的“高性能硬件”的有力替代品。不過，也有AI行業(yè)的專家表示，Groq的LPU從成本上來看并不具優(yōu)勢，目前并不能代替英偉達(dá)。
Groq開發(fā)的LPU與GPU有何不同
Groq開發(fā)的LPU到底是個怎樣的產(chǎn)品？據(jù)其官網(wǎng)介紹，LPU是一種專為AI推理所設(shè)計的芯片。驅(qū)動包括GPT等主流大模型的GPU，是一種為圖形渲染而設(shè)計的并行處理器，有數(shù)百個內(nèi)核。而LPU架構(gòu)則與GPU使用的SIMD（單指令，多數(shù)據(jù)）不同，這種設(shè)計可以讓芯片更有效地利用每個時鐘周期，確保一致的延遲和吞吐量，也降低了復(fù)雜調(diào)度硬件的需求。
Groq的LPU推理引擎不是普通的處理單元；它是一個端到端系統(tǒng)，專為需要大量計算和連續(xù)處理的應(yīng)用（如LLM）提供最快的推理而設(shè)計。通過消除外部內(nèi)存瓶頸，LPU推理引擎的性能比傳統(tǒng)GPU高出幾個數(shù)量級。
根據(jù)與Groq關(guān)系密切的投資人k_zeroS分享，LPU的工作原理與GPU截然不同。它采用了時序指令集計算機(jī)（Temporal Instruction Set Computer）架構(gòu)，這意味著它無需像使用高帶寬存儲器（HBM）的GPU那樣頻繁地從內(nèi)存中加載數(shù)據(jù)。這一特點不僅有助于避免HBM短缺的問題，還能有效降低成本。
Groq創(chuàng)始人兼首席執(zhí)行官Jonathan Ross此前在接受采訪的時候就談到，在大模型推理場景，Groq LPU芯片的速度比英偉達(dá)GPU快10倍，但價格和耗電量都僅為后者的十分之一。
Ross認(rèn)為，對于在產(chǎn)品中使用人工智能的公司來說，推理成本正在成為一個問題，因為隨著使用這些產(chǎn)品的客戶數(shù)量增加，運(yùn)行模型的成本也在迅速增加。與英偉達(dá)GPU相比，Groq LPU集群將為大模型推理提供更高的吞吐量、更低的延遲和更低的成本。
他強(qiáng)調(diào)，由于技術(shù)路徑不同，Groq的LPU芯片不依賴于三星或SK海力士的HBM，也不依賴于臺積電將外部HBM焊接到芯片上的CoWoS封裝技術(shù)。它在供應(yīng)方面比英偉達(dá)更充足，不會被臺積電或者SK海力士等供應(yīng)商卡脖子。
可以看到，Groq LPU芯片相當(dāng)于是去掉了HBM，而只是依靠SRAM來計算。雖然這樣計算速度確實相當(dāng)驚艷，然而其更低成本的問題卻遭到質(zhì)疑。
有AI專家表示，Groq芯片的實際成本并不低，如人工智能專家賈揚(yáng)清分析稱，因為Groq小的可憐的內(nèi)存容量（230MB），在運(yùn)行Llama-2 70b模型時，需要305張Groq卡才足夠，而用H100則只需要8張卡。從目前的價格來看，這意味著在同等吞吐量下，Groq的硬件成本是H100的40倍，能耗成本是10倍。
當(dāng)然也有SRAM行業(yè)的專家非常看好這種架構(gòu)模式，他認(rèn)為，賈揚(yáng)清對Groq成本的估算不是很對，因為沒有考慮到Groq的per token cost明顯低于GPGPU。
可以看到，作為一種新的架構(gòu)模式，Groq LPU當(dāng)前必然還面臨一些潛在問題，然而它的出現(xiàn)，也讓人們看到GPU之外的可能路徑。
Groq LPU芯片未來能否肩負(fù)起運(yùn)行大模型的重任，或許再等等，就能看到明確答案。事實上，在去年年底的采訪中，Ross就表示，考慮到GPU的短缺和高昂的成本，他相信Groq未來的發(fā)展?jié)摿?。他說到：“在未來12個月內(nèi)，我們可以部署10萬個LPU，在24個月內(nèi)，我們可以部署100萬個LPU。”
寫在最后
過去一年多時間，全球眾多科技公司都在研發(fā)大模型，今年將會是大模型落地部署的重要一年，而如眾多大模型的訓(xùn)練和推理卻依賴英偉達(dá)的GPU。業(yè)界亟需除英偉達(dá)GPU之外的芯片，能夠用于大模型的部署推理，Groq的LPU芯片可以說是帶來了新的探索方向。
雖然Groq公司對自己的LPU芯片在性能和成本上都自信滿滿，然而業(yè)界對于其成本問題還是有所質(zhì)疑。如果今年LPU芯片能夠如規(guī)劃那樣進(jìn)行較大規(guī)模的部署，或許就能一定程度證明LPU芯片在成本上也在眾多用戶所能接受的范圍之內(nèi)。
