AI芯片的又一種思路

為當(dāng)今機(jī)器學(xué)習(xí)算法提供動(dòng)力的人工神經(jīng)網(wǎng)絡(luò)是對(duì)大量基于電子的“神經(jīng)元”及其許多連接或突觸進(jìn)行建模的軟件。研究人員認(rèn)為,不是用軟件來表示神經(jīng)網(wǎng)絡(luò),而是用真實(shí)設(shè)備來表示組件,尤其是突觸,從而產(chǎn)生更快、更節(jié)能的人工智能。

本文來自半導(dǎo)體行業(yè)觀察,內(nèi)容由半導(dǎo)體行業(yè)觀察(ID:icbank)編譯自IEEE。

人工大腦離我們有多遠(yuǎn)?也許還有很長的路要走,但大腦網(wǎng)絡(luò)基本元素突觸的工作模擬現(xiàn)在似乎近在咫尺。

這是因?yàn)橐环N從電池中汲取靈感的設(shè)備現(xiàn)在似乎非常適合運(yùn)行人工神經(jīng)網(wǎng)絡(luò)。它被稱為電化學(xué)RAM(ECRAM),它為傳統(tǒng)的基于晶體管的AI帶來了意想不到的收益——并且在開發(fā)完美人工突觸的競賽中迅速走向領(lǐng)先。研究人員最近在本周的IEEE國際電子設(shè)備會(huì)議(IEDM 2022)和其他地方報(bào)告了一系列進(jìn)展,包括ECRAM設(shè)備使用更少的能量,保持內(nèi)存更長,占用更少的空間。

2345截圖20220818151609.png

為當(dāng)今機(jī)器學(xué)習(xí)算法提供動(dòng)力的人工神經(jīng)網(wǎng)絡(luò)是對(duì)大量基于電子的“神經(jīng)元”及其許多連接或突觸進(jìn)行建模的軟件。研究人員認(rèn)為,不是用軟件來表示神經(jīng)網(wǎng)絡(luò),而是用真實(shí)設(shè)備來表示組件,尤其是突觸,從而產(chǎn)生更快、更節(jié)能的人工智能。這個(gè)稱為模擬AI的概念需要一個(gè)存儲(chǔ)單元,該存儲(chǔ)單元結(jié)合了一系列難以獲得的特性:它需要保存足夠大范圍的模擬值,在不同值之間可靠且快速地切換,長時(shí)間保持其值時(shí)間,并適合大規(guī)模生產(chǎn)。

“這些設(shè)備的反應(yīng)速度比大腦突觸快得多。因此,它們讓我們有可能進(jìn)行類似大腦的計(jì)算,即人工智能計(jì)算,速度明顯快于大腦,這正是我們實(shí)現(xiàn)人工智能承諾所真正需要的。”——耶穌德爾阿拉莫,麻省理工學(xué)院

大多數(shù)類型的存儲(chǔ)器都非常適合存儲(chǔ)數(shù)字值,但噪音太大而無法可靠地存儲(chǔ)模擬值。但早在2015年,由Alec Talin領(lǐng)導(dǎo)的桑迪亞國家實(shí)驗(yàn)室的一組研究人員就意識(shí)到答案就在他們面前:電池的充電狀態(tài)。“從根本上說,電池通過在兩種材料之間移動(dòng)離子來工作。當(dāng)離子在兩種材料之間移動(dòng)時(shí),電池會(huì)儲(chǔ)存和釋放能量,”現(xiàn)任密歇根大學(xué)材料科學(xué)與工程教授的Yiyang Li說。“我們發(fā)現(xiàn)我們可以使用相同的過程來存儲(chǔ)信息。”

換句話說,通道中的離子數(shù)量決定了存儲(chǔ)的模擬值。理論上,可以檢測到單個(gè)離子的差異。ECRAM通過第三個(gè)柵極端子控制“電池”中的電荷量來使用這些概念。

想象一個(gè)電池,左邊是負(fù)極,中間是離子摻雜通道,右邊是正極。正負(fù)端子之間的電導(dǎo)率由通道中的離子數(shù)量規(guī)定,決定了存儲(chǔ)在設(shè)備中的模擬值。在通道上方,有一個(gè)電解質(zhì)屏障,允許離子(但不是電子)通過。在屏障的頂部是一個(gè)儲(chǔ)存層,包含流動(dòng)離子的供應(yīng)。施加到該儲(chǔ)層的電壓用作“門”,迫使離子通過電解質(zhì)屏障進(jìn)入通道,或相反。如今,切換到任何所需的存儲(chǔ)值所需的時(shí)間非???。

“這些設(shè)備的反應(yīng)速度比大腦突觸快得多,”麻省理工學(xué)院工程與計(jì)算機(jī)科學(xué)教授Jesus del Alamo說。“因此,它們使我們有可能從本質(zhì)上進(jìn)行類似大腦的計(jì)算,即人工智能計(jì)算,速度明顯快于大腦,這正是我們實(shí)現(xiàn)人工智能承諾所真正需要的。”

最近的發(fā)展正在迅速使ECRAM更接近于擁有理想模擬存儲(chǔ)器所需的所有品質(zhì)。

低能量

離子不會(huì)比單個(gè)質(zhì)子小。麻省理工學(xué)院的Del Alamo小組選擇了這種最小的離子作為他們的信息載體,因?yàn)樗哂袩o與倫比的速度。就在幾個(gè)月前,他們展示了可以在短短納秒內(nèi)移動(dòng)離子的設(shè)備,大約是大腦突觸速度的10,000倍。但速度還不夠。

“我們可以看到該設(shè)備對(duì)[電壓]脈沖的響應(yīng)非常快,但仍然有點(diǎn)太大,”del Alamo說,“這是一個(gè)問題。我們還希望能夠讓設(shè)備對(duì)電壓較低的脈沖做出非??焖俚捻憫?yīng),因?yàn)檫@是提高能效的關(guān)鍵。”

在本周IEEE IEDM 2022上報(bào)告的研究中,麻省理工學(xué)院小組通過對(duì)電流的首次實(shí)時(shí)研究深入研究了他們?cè)O(shè)備的運(yùn)行細(xì)節(jié)。他們發(fā)現(xiàn)了他們認(rèn)為是阻止設(shè)備在較低電壓下切換的瓶頸:質(zhì)子很容易穿過電解質(zhì)層,但需要在電解質(zhì)和通道之間的界面上施加額外的電壓。有了這些知識(shí),研究人員相信他們可以設(shè)計(jì)材料界面以降低切換所需的電壓,從而為更高的能源效率和可擴(kuò)展性打開大門,del Alamo說。

更長的記憶力

一旦編程,這些設(shè)備通常會(huì)保持幾個(gè)小時(shí)的電阻率。桑迪亞國家實(shí)驗(yàn)室和密歇根大學(xué)的研究人員聯(lián)手將這一保留時(shí)間的極限推向了10年。他們于11月在Advanced Electronic Materials雜志上發(fā)表了他們的研究結(jié)果。

為了讓記憶保持這么久,李益陽領(lǐng)導(dǎo)的團(tuán)隊(duì)在麻省理工學(xué)院的設(shè)備中選擇了較重的氧離子,而不是質(zhì)子。即使使用質(zhì)量更大的離子,他們觀察到的結(jié)果也是出乎意料的。“我記得有一天,在我旅行的時(shí)候,我的研究生戴安娜·金(Diana Kim)向我展示了數(shù)據(jù),我大吃一驚,以為做錯(cuò)了什么,”李回憶道。“我們沒想到它會(huì)如此穩(wěn)定。后來我們一遍又一遍地重復(fù),直到我們獲得足夠的信心。”

他們推測非揮發(fā)性來自于他們選擇的材料,氧化鎢,以及氧離子在其中的排列方式。“我們認(rèn)為這是由于一種叫做相分離的材料特性,它允許離子自行排列,這樣就沒有驅(qū)動(dòng)力將它們推回去,”李解釋道。

不幸的是,這么長的保留時(shí)間是以切換速度為代價(jià)的,對(duì)于Li的設(shè)備來說,切換速度以分鐘為單位。但是,研究人員說,對(duì)如何實(shí)現(xiàn)保留時(shí)間的物理理解使他們能夠?qū)ふ彝瑫r(shí)顯示出長記憶和更快切換特性的其他材料。

更小的足跡

這些設(shè)備上添加的第三個(gè)終端使它們比競爭的雙終端存儲(chǔ)器更笨重,限制了可擴(kuò)展性。為了幫助縮小設(shè)備并將它們有效地組裝成陣列,韓國浦項(xiàng)科技大學(xué)的研究人員將它們放在一邊。這使研究人員能夠?qū)⒃O(shè)備的占地面積減少到僅30 x 30納米,面積約為前幾代產(chǎn)品的五分之一,同時(shí)保持開關(guān)速度,甚至提高能效和讀取時(shí)間。他們還在本周的IEEE IEDM 2022上報(bào)告了他們的結(jié)果。

該團(tuán)隊(duì)將他們的設(shè)備構(gòu)建為一個(gè)大的垂直堆棧:源沉積在底部,接下來是導(dǎo)電通道,然后是其上方的漏極。為了讓漏極允許離子進(jìn)出通道,他們用單層石墨烯代替了通常的半導(dǎo)體材料。這種石墨烯漏極還用作控制離子流的額外屏障。在其上方,他們放置了電解質(zhì)屏障,最后是離子庫和柵極端子。通過這種配置,不僅性能沒有降低,而且向設(shè)備寫入和讀取信息所需的能量也減少了。結(jié)果,讀取狀態(tài)所需的時(shí)間減少了20倍。

即使有上述所有進(jìn)步,加速人工智能訓(xùn)練的商用ECRAM芯片仍然有一段距離。IBM Research AI硬件中心的項(xiàng)目主管John Rozen說,這些設(shè)備現(xiàn)在可以由鑄造友好的材料制成,但這只是故事的一部分。“社區(qū)的一個(gè)關(guān)鍵重點(diǎn)應(yīng)該是解決集成問題,使ECRAM設(shè)備能夠與同一晶圓上的前端晶體管邏輯單片耦合,這樣我們就可以大規(guī)模構(gòu)建演示器,并確定它是否確實(shí)是一項(xiàng)可行的技術(shù)。”

IBM的Rozen團(tuán)隊(duì)正在努力實(shí)現(xiàn)這種可制造性。與此同時(shí),他們創(chuàng)建了一個(gè)軟件工具,允許用戶使用不同的仿真模擬AI設(shè)備(包括ECRAM)來實(shí)際訓(xùn)練神經(jīng)網(wǎng)絡(luò)并評(píng)估其性能。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無評(píng)論