Nature重磅:顛覆AI計(jì)算,提升460倍能效,新型分子憶阻器有望為Transformer提速

學(xué)術(shù)頭條
人工智能(AI)硬件有望徹底被顛覆,在計(jì)算速度和能效方面實(shí)現(xiàn)前所未有的改進(jìn)。

本文來自鈦媒體(www.tmtpost.com),作者 | 學(xué)術(shù)頭條。

人工智能(AI)硬件有望徹底被顛覆,在計(jì)算速度和能效方面實(shí)現(xiàn)前所未有的改進(jìn)。

日前,來自印度科學(xué)研究所、德克薩斯農(nóng)工大學(xué)和利默里克大學(xué)的研究團(tuán)隊(duì),在一篇發(fā)表在權(quán)威科學(xué)期刊Nature上的研究論文中介紹了一種新型分子憶阻器,將神經(jīng)形態(tài)計(jì)算提升到了前所未有的高精度。

加之神經(jīng)形態(tài)計(jì)算固有的功耗低、延遲小、可擴(kuò)展性高等特點(diǎn),這一研究為人工智能的未來發(fā)展,尤其在能效需求迫切的領(lǐng)域提供了新的可能性。

據(jù)介紹,他們設(shè)計(jì)了一種基于釕(Ru)復(fù)合物的新型分子憶阻器(神經(jīng)形態(tài)硬件中的核心組件),其使用一種偶氮芳香配體,能夠?qū)崿F(xiàn)14位的分辨率,并通過精確的動(dòng)力學(xué)控制,可訪問多達(dá)16520個(gè)不同的模擬電導(dǎo)水平。相比于傳統(tǒng)的計(jì)算方式,這種新型分子憶阻器具備以下特點(diǎn):

20240925095331793868.png

研究團(tuán)隊(duì)表示,這種新型分子憶阻器的應(yīng)用可能擴(kuò)展神經(jīng)形態(tài)計(jì)算的范圍,使其超越目前的小眾應(yīng)用,增強(qiáng)從云端到邊緣的數(shù)字電子設(shè)備的核心功能。

值得一提的是,這種新型憶阻器有望成為復(fù)雜人工智能模型(如GAN和Transformer)的重要加速器。

研究團(tuán)隊(duì)表示:“我們的終極目標(biāo)是用這種基于環(huán)保節(jié)能材料的高性能計(jì)算系統(tǒng),取代現(xiàn)有的計(jì)算架構(gòu),并將其應(yīng)用到日常生活的各個(gè)領(lǐng)域,從服裝、食品包裝到建筑材料,真正實(shí)現(xiàn)分布式的無處不在的信息處理。”

神經(jīng)形態(tài)計(jì)算的核心理念是模擬生物神經(jīng)網(wǎng)絡(luò)的工作方式,從而提高計(jì)算效率并降低能耗。在這一架構(gòu)下,神經(jīng)元和突觸的行為被仿真為計(jì)算元件,能夠在硬件中直接執(zhí)行大量向量-矩陣乘法(VMM)運(yùn)算。相比傳統(tǒng)的馮·諾依曼架構(gòu),其具有三大優(yōu)勢:

在神經(jīng)形態(tài)計(jì)算系統(tǒng)中,憶阻器模擬了神經(jīng)元突觸的功能,通過改變電阻來存儲(chǔ)和傳遞信息,使得運(yùn)算可以在存儲(chǔ)單元中直接進(jìn)行,提升了計(jì)算的速度和效率。

傳統(tǒng)計(jì)算架構(gòu)在執(zhí)行VMM時(shí),通常需要頻繁地在存儲(chǔ)器和處理器之間移動(dòng)數(shù)據(jù),耗費(fèi)大量時(shí)間和能量。而憶阻器使得數(shù)據(jù)可以直接在存儲(chǔ)單元中完成計(jì)算,可以顯著提高效率。

然而,受材料特性和電子元件性能的限制,現(xiàn)有神經(jīng)形態(tài)硬件在計(jì)算精度、效率和復(fù)雜任務(wù)處理方面仍面臨許多挑戰(zhàn),尤其在執(zhí)行信號(hào)處理、神經(jīng)網(wǎng)絡(luò)訓(xùn)練和自然語言處理等核心計(jì)算任務(wù)中。

在這項(xiàng)工作中,為了提升神經(jīng)形態(tài)計(jì)算的效率,他們利用先進(jìn)的納米技術(shù)和材料科學(xué),構(gòu)建了迄今為止最大的64×64的分子憶阻器交叉陣列。這一設(shè)計(jì)不僅增加了系統(tǒng)的規(guī)模和復(fù)雜性,還能夠在單一步驟中直接執(zhí)行VMM運(yùn)算,徹底避免了傳統(tǒng)計(jì)算架構(gòu)中的數(shù)據(jù)移動(dòng)瓶頸。

他們表示,這一設(shè)計(jì)受人腦工作機(jī)制的啟發(fā),利用分子在晶格中的自然運(yùn)動(dòng)處理和存儲(chǔ)信息。這種“分子游覽日記”式的運(yùn)作方式,為未來的數(shù)據(jù)中心、內(nèi)存密集型應(yīng)用以及在線游戲帶來了巨大的節(jié)能潛力。

20240925095331935786.png

圖|線性和對稱性(a:64×64的分子憶阻器交叉陣列的顯微圖像;b:一個(gè)交叉點(diǎn)在50個(gè)測量周期內(nèi)的模擬重量更新特征;c:2000個(gè)不同電導(dǎo)水平和10,002、10,003的讀出值及其各自的分布;d:根據(jù)每個(gè)電導(dǎo)水平的2000個(gè)數(shù)據(jù)點(diǎn)計(jì)算出的不同電導(dǎo)水平的累積分布函數(shù);e:所有16520個(gè)電導(dǎo)水平的σn和ΔGn;f:所有電導(dǎo)水平均通過500 mV和-500 mV兩種不同幅度的脈沖讀?。?/p>

研究發(fā)現(xiàn),這種憶阻器展現(xiàn)出模擬權(quán)重更新的特性,通過施加不同幅度和持續(xù)時(shí)間的方波脈沖,實(shí)現(xiàn)了16520個(gè)獨(dú)特的模擬電導(dǎo)狀態(tài),這些狀態(tài)覆蓋了從200ns到5.9ms的四個(gè)數(shù)量級范圍。

為了確保這種分子憶阻器的精度,研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)超過16位精度的CMOS電路,并對交叉陣列的電導(dǎo)性能進(jìn)行了詳細(xì)驗(yàn)證。結(jié)果顯示,相鄰電導(dǎo)水平的誤差概率低于10^-9,展現(xiàn)了優(yōu)異的低誤差率和高穩(wěn)定性。

在長達(dá)10^9次操作后,該憶阻器的權(quán)重更新特性依然保持穩(wěn)定,且其模擬電導(dǎo)狀態(tài)表現(xiàn)出與生物突觸類似的尖峰時(shí)間依賴可塑性(STDP),為未來在神經(jīng)形態(tài)計(jì)算中的廣泛應(yīng)用提供了技術(shù)支撐。

為了進(jìn)一步研究分子憶阻器的工作機(jī)制,研究人員使用原位拉曼光譜技術(shù)揭示了其背后的分子電子動(dòng)力學(xué)。他們發(fā)現(xiàn),電導(dǎo)水平的轉(zhuǎn)變是由兩種分子電子狀態(tài)之間的超分子電荷轉(zhuǎn)移驅(qū)動(dòng)的,這為控制憶阻器行為提供了科學(xué)依據(jù)。

實(shí)驗(yàn)中,基于這種憶阻器的VMM運(yùn)算成功實(shí)現(xiàn)了單步(one-step)離散傅里葉變換(DFT)。

20240925095332089656.png

圖|VMM的實(shí)現(xiàn)

實(shí)驗(yàn)結(jié)果顯示,基于這種新型分子憶阻器的VMM運(yùn)算獲得了74 dB的信噪比(SNR)和76.5 dB的峰值信噪比(PSNR),這比現(xiàn)有技術(shù)提高了10^4倍。

他們表示,這種新型分子憶阻器為執(zhí)行計(jì)算密集型任務(wù)提供了精確而高效的解決方案,尤其在人工神經(jīng)網(wǎng)絡(luò)、自動(dòng)編碼器和生成式對抗網(wǎng)絡(luò)(GAN)等領(lǐng)域的應(yīng)用前景廣闊。

盡管這項(xiàng)研究在神經(jīng)形態(tài)計(jì)算領(lǐng)域取得了顯著進(jìn)展,但距離實(shí)際應(yīng)用仍然面臨一些挑戰(zhàn)。

當(dāng)前的實(shí)驗(yàn)成果主要集中在較小規(guī)模的交叉陣列上,要將這項(xiàng)技術(shù)大規(guī)模應(yīng)用于實(shí)際計(jì)算設(shè)備,還需要進(jìn)一步擴(kuò)大陣列規(guī)模并實(shí)現(xiàn)芯片級集成。如何在更大規(guī)模下維持相同的精度和性能,是未來技術(shù)發(fā)展的關(guān)鍵難題。

盡管研究團(tuán)隊(duì)提出了能效優(yōu)化設(shè)計(jì),但要真正達(dá)到實(shí)驗(yàn)中預(yù)測的能效提升,還需進(jìn)一步優(yōu)化外圍電路。此外,分子級憶阻器的制造工藝復(fù)雜,要實(shí)現(xiàn)大規(guī)模低成本生產(chǎn),還有很長的路要走。

盡管面臨這些局限,該研究依然展示出廣闊的應(yīng)用前景。

首先,這項(xiàng)技術(shù)在多種矩陣乘法中展現(xiàn)出一致的高精度,使其在信號(hào)處理、機(jī)器學(xué)習(xí)等領(lǐng)域具有廣泛的應(yīng)用潛力。尤其是在支持復(fù)雜的人工智能模型方面,如生成式對抗網(wǎng)絡(luò)(GAN)和Transformer等,這種新型憶阻器有望成為重要的加速器。

此外,這項(xiàng)技術(shù)在邊緣計(jì)算中的應(yīng)用前景尤其值得期待。憑借極高的能效,它可以推動(dòng)智能設(shè)備和物聯(lián)網(wǎng)中低功耗應(yīng)用的發(fā)展,尤其是在需要實(shí)時(shí)響應(yīng)的場景中,如自動(dòng)駕駛或智能醫(yī)療設(shè)備。

未來,隨著陣列規(guī)模的擴(kuò)大和能效的進(jìn)一步提升,這種分子憶阻器有望成為推動(dòng)神經(jīng)形態(tài)計(jì)算和人工智能發(fā)展的關(guān)鍵技術(shù),為數(shù)據(jù)中心、邊緣計(jì)算設(shè)備和AI加速器提供更高效、更節(jié)能的計(jì)算解決方案。

THEEND

最新評論(評論僅代表用戶觀點(diǎn))

更多
暫無評論