本文來自微信公眾號“半導(dǎo)體行業(yè)觀察”，內(nèi)容由半導(dǎo)體行業(yè)觀察（ID：icbank）編譯自allaboutcircuit，謝謝。
加州大學(xué)的研究人員在患者大腦的言語中心植入了253個電極，攔截信號，如果不是中風(fēng)，這些信號可能會傳送到她的嘴唇、舌頭、下巴和喉部的肌肉。
人工智能(AI)不僅僅是生成式AI，例如ChatGPT。人工智能的另一面，解釋性人工智能，解讀我們周圍的世界。加州大學(xué)(UC)舊金山分校和伯克利分校的研究人員正在開發(fā)一種系統(tǒng)，該系統(tǒng)使用解釋性人工智能來為近20年來無法自己說話的人說話。
使用人工智能重建語音
加州大學(xué)項目正在與一位前數(shù)學(xué)老師Ann合作，她在2005年經(jīng)歷了腦干中風(fēng)。這次中風(fēng)使她陷入了一種稱為閉鎖綜合癥(LIS)的狀態(tài)，盡管她的個性和性格使她的肌肉使用極其有限。認(rèn)知能力完好無損。大多數(shù)肌肉控制指令起源于腦干，包括言語所需的指令。雖然安不能說話，但她的言語中樞仍然功能齊全。
UC系統(tǒng)從源頭捕獲語音信號。研究人員開發(fā)了一種傳感器，該傳感器具有由253個電極組成的超薄網(wǎng)絡(luò)，植入Ann大腦的語言中樞表面。電極收集信號并將其發(fā)送到大型計算系統(tǒng)，該系統(tǒng)使用人工智能將信號轉(zhuǎn)換為音素。然后，語音合成程序?qū)⑦@些音素轉(zhuǎn)換為類似人類的聲音，速度高達(dá)每分鐘不到80個單詞。
研究人員面臨著將大腦信號解讀為可用于語音合成的信息的嚴(yán)峻挑戰(zhàn)。
傳感器輸入253個信號乘以給定時間間隔的采樣率，得到一個三維矩陣。這個數(shù)據(jù)矩陣看起來一點(diǎn)也不像音頻信號。相反，它代表了發(fā)出聲音所需的所有肌肉。數(shù)以萬計的信號被發(fā)送到腦干，進(jìn)行翻譯、解釋，然后重新傳輸?shù)饺淼募∪?，但這個UC系統(tǒng)只捕獲和解碼了253個點(diǎn)。
為了解碼這個矩陣，計算機(jī)對表示進(jìn)行分段評估，就像計算機(jī)可能將照片解釋為像素網(wǎng)格或矩陣一樣。矩陣運(yùn)算還使用了卷積，即兩個近似匹配的函數(shù)的矩陣乘法。例如，如果您想查看單像素網(wǎng)格中的圖像是否是汽車的一部分，矩陣乘法會將原始像素網(wǎng)格組合成帶有過濾器網(wǎng)格的卷積，其中包含汽車的表示。結(jié)果將是估計匹配概率的網(wǎng)格值。多次運(yùn)行卷積，您將獲得更準(zhǔn)確的概率。
再現(xiàn)Ann聲音的計算機(jī)系統(tǒng)使用Speech Graphics開發(fā)的軟件來顯示一個化身，模擬與她的聲音相關(guān)的面部動作。有了這個系統(tǒng)，安的家人自中風(fēng)以來第一次可以與她輕松地交談。通過從視頻中提取安自己的語音音素，她中風(fēng)時還是嬰兒的女兒現(xiàn)在可以聽到她母親通過復(fù)制自己的聲音進(jìn)行交流。
IBM的模擬AI芯片向語音以外的應(yīng)用致敬
如上所述的人工智能系統(tǒng)需要大量的計算能力和能量。這通常將應(yīng)用限制于研究和資金充足的商業(yè)應(yīng)用。研究人員必須設(shè)計出新方法，讓像安這樣的人能夠?qū)⑦@樣的系統(tǒng)帶回家。IBM研究中心正致力于通過改進(jìn)的模擬人工智能芯片來解決這個問題。
IBM研究團(tuán)隊最近采用了一種新方法，采用乘法累加(MAC)架構(gòu)來進(jìn)行模擬內(nèi)存計算。該芯片具有3500萬個相變非易失性存儲器(NVM)器件以及模擬低功耗外圍電路，封裝在34個區(qū)塊中。這些區(qū)塊通過大規(guī)模并行區(qū)塊間通信進(jìn)行通信，并提供每瓦12.4萬億次操作(TOPS/W)的持續(xù)性能。該芯片在CFAR-10圖像識別基準(zhǔn)測試中的識別率為92.81%。
作為人工智能加速器，IBM芯片架構(gòu)將使便攜式、個人、實時人工智能成為現(xiàn)實。潛在的應(yīng)用遠(yuǎn)遠(yuǎn)超出了語音本身。模擬人工智能處理器的持續(xù)發(fā)展可能會帶來更高的性能、更低的成本和更低的功耗，可應(yīng)用于許多領(lǐng)域。最終，信號可以在大腦的運(yùn)動部分被接收，就像在這個UC原型中一樣，并連接到任何預(yù)期的肌肉群或任何需要控制的設(shè)備。將來，相同的方法可以應(yīng)用于輪式移動設(shè)備或外骨骼。
