本文來自微信公眾號“網(wǎng)絡(luò)研究院”。
研究人員發(fā)現(xiàn)，攻擊者可以利用ChatGPT返回虛假信息的傾向來傳播惡意代碼包。
這對軟件供應(yīng)鏈構(gòu)成了重大風(fēng)險，因為它可能允許惡意代碼和特洛伊木馬程序滑入合法應(yīng)用程序和代碼存儲庫，如npm、PyPI、GitHub等。
研究人員通過利用所謂的“AI包幻覺”，威脅行為者可以創(chuàng)建ChatGPT推薦的惡意代碼包，開發(fā)人員在使用聊天機(jī)器人時可能會無意中下載這些代碼包，將它們構(gòu)建到隨后被廣泛使用的軟件中。
在人工智能中，幻覺是人工智能做出的不充分、有偏見或完全不正確的合理反應(yīng)。
它們的出現(xiàn)是因為ChatGPT（以及作為生成式AI平臺基礎(chǔ)的其他大型語言模型或LLM）根據(jù)他們在廣闊的互聯(lián)網(wǎng)上可用的資源、鏈接、博客和統(tǒng)計數(shù)據(jù)來回答向他們提出的問題，這些是并不總是最可靠的訓(xùn)練數(shù)據(jù)。
由于這種廣泛的培訓(xùn)和接觸大量文本數(shù)據(jù)，像ChatGPT這樣的LLM可以生成“看似合理但虛構(gòu)的信息，在他們的培訓(xùn)之外進(jìn)行推斷，并可能產(chǎn)生看似合理但不一定準(zhǔn)確的響應(yīng)，這是一種以前觀察到的現(xiàn)象，似乎是大型語言模型工作方式的結(jié)果。
在開發(fā)者世界中，AI還會為CVE生成有問題的修復(fù)程序，并提供指向不存在的編碼庫的鏈接，后者提供了利用的機(jī)會。
在這種攻擊場景中，攻擊者可能會向ChatGPT尋求常見任務(wù)的編碼幫助；ChatGPT可能會為未發(fā)布或不存在的軟件包提供建議。
攻擊者可以發(fā)布他們自己的建議包的惡意版本，并等待ChatGPT為合法開發(fā)人員提供相同的建議。
如何利用AI幻覺
為了證明他們的概念，研究人員使用ChatGPT 3.5創(chuàng)建了一個場景，其中攻擊者向平臺詢問解決編碼問題的問題，而ChatGPT以多個包進(jìn)行響應(yīng)，其中一些不存在，即未以合法方式發(fā)布包存儲庫。
當(dāng)攻擊者找到未發(fā)布包的推薦時，他們可以在其位置發(fā)布自己的惡意包。下次用戶問類似的問題時，他們可能會收到來自ChatGPT的建議，使用現(xiàn)在存在的惡意包。
如果ChatGPT正在偽造代碼包，攻擊者可以利用這些幻覺來傳播惡意代碼，而無需使用域名仿冒或偽裝等熟悉的技術(shù)，從而創(chuàng)建開發(fā)人員可能會在ChatGPT推薦的情況下使用的“真實”包。
通過這種方式，惡意代碼可以找到進(jìn)入合法應(yīng)用程序或合法代碼存儲庫的途徑，從而給軟件供應(yīng)鏈帶來重大風(fēng)險。
向ChatGPT這樣的生成式人工智能尋求代碼幫助的開發(fā)人員可能會安裝惡意庫，因為人工智能認(rèn)為它是真實的，而攻擊者將其變?yōu)楝F(xiàn)實。
一個聰明的攻擊者甚至可能制作一個工作庫，作為一種特洛伊木馬，在他們意識到它是惡意的之前可能會被多人使用。”
如何發(fā)現(xiàn)錯誤的代碼庫
如果威脅行為者有效地混淆了他們的工作，或者使用其他技術(shù)（例如制作一個實際可用的特洛伊木馬程序包），則很難判斷一個程序包是否是惡意的。
但是，有一些方法可以在將錯誤代碼嵌入到應(yīng)用程序或發(fā)布到代碼存儲庫之前將其捕獲。
為此，開發(fā)人員需要驗證他們下載的庫，并確保他們不僅按照他們所說的去做，而且不是一個聰明的木馬偽裝成合法的包。
當(dāng)推薦來自人工智能而不是同事或他們在社區(qū)中信任的人時，這一點尤為重要。
開發(fā)人員可以通過多種方式做到這一點，例如檢查創(chuàng)建日期；下載和評論的數(shù)量，或缺乏評論和明星；看看任何附注。
如果有任何東西看起來可疑，請在安裝之前三思而后行。
ChatGPT:風(fēng)險與回報
這種攻擊場景只是ChatGPT可能帶來的一系列安全風(fēng)險中的最新一個。
該技術(shù)自去年11月發(fā)布以來迅速流行起來，不僅受到用戶的歡迎，還受到熱衷于利用它進(jìn)行網(wǎng)絡(luò)攻擊和惡意活動的威脅行為者的歡迎。
僅2023年上半年，就有詐騙者模仿ChatGPT竊取用戶業(yè)務(wù)憑據(jù)；攻擊者通過惡意ChatGPT擴(kuò)展竊取Google Chrome cookie；和網(wǎng)絡(luò)釣魚威脅行為者使用ChatGPT作為惡意網(wǎng)站的誘餌。
雖然一些專家認(rèn)為ChatGPT的安全風(fēng)險可能被夸大了，但它確實存在，因為人們很快就接受了生成人工智能平臺來支持他們的專業(yè)活動并減輕日常工作量的負(fù)擔(dān)。
除非你生活在巖石下，否則你會很清楚生成人工智能的熱潮，數(shù)以百萬計的人在工作中擁抱ChatGPT。
開發(fā)人員也不能幸免于ChatGPT的魅力，他們從Stack Overflow等在線資源尋求編碼解決方案，轉(zhuǎn)向AI平臺尋求答案，這為攻擊者創(chuàng)造了重大機(jī)會。
正如歷史所證明的那樣，任何能夠迅速吸引堅實用戶群的新技術(shù)也會迅速吸引旨在利用它為自己謀取機(jī)會的不良行為者。
ChatGPT提供了這種情況的實時示例。
