本文來自微信公眾號“GoUpSec”。
人工智能（AI）威脅已經(jīng)兵臨城下，即使沒有ChatGPT的大肆炒作，AI風險也會是2023年安全研究人員日益關(guān)注的新興威脅。
安全專家們警告CISO，面對AI風險，企業(yè)正在打一場雙線戰(zhàn)爭。他們不僅需要警惕對抗性AI攻擊對企業(yè)AI和機器學習(ML)模型構(gòu)成的威脅，而且還必須保護自己免受壞人使用AI發(fā)動的攻擊。以下是CISO必須了解的十大AI攻擊：
1
AI中毒攻擊
從數(shù)據(jù)和流程完整性的角度來看，CISO應(yīng)該重點關(guān)注的一類攻擊是中毒攻擊。此類攻擊的原理是通過操縱深度學習模型的訓練數(shù)據(jù)入侵模型，甚至可以操縱其輸出攻擊者想要的結(jié)果。模型中毒只是AI完整性問題的冰山一角。大型語言模型(LLM)正受到風險和彈性研究人員的重點關(guān)注，后者正積極探索反饋循環(huán)和AI偏見等問題如何使AI輸出不可靠。
2
武器化模型
數(shù)據(jù)科學和AI/ML研究植根于學術(shù)界，依賴高度協(xié)作和迭代開發(fā)，而這種開發(fā)依賴大量共享——無論是數(shù)據(jù)共享還是模型共享。這會給人工智能供應(yīng)鏈帶來重大風險，就像應(yīng)用安全人員處理的軟件供應(yīng)鏈安全問題。
最近的研究概念驗證了攻擊者可以將惡意代碼嵌入到預(yù)訓練的機器學習模型中，利用公共存儲庫中的ML模型對組織進行勒索軟件攻擊。攻擊者可以通過劫持公共存儲庫中的合法模型、植入惡意代碼將其武器化。
3
數(shù)據(jù)隱私攻擊
人工智能的最大風險實際上是數(shù)據(jù)安全和數(shù)據(jù)隱私威脅。如果AI模型沒有采用足夠的隱私措施，攻擊者就有可能破壞用于訓練這些模型的數(shù)據(jù)的機密性。一些攻擊，如成員推理，可通過查詢模型以確定模型中是否使用了特定的數(shù)據(jù)——這在醫(yī)療領(lǐng)域可能會成為大麻煩，因為通過攻擊研究特定疾病的AI模型，攻擊者有可能推斷出某人是否患有某種疾病。
同時，模型反推（Model Inversion）之類的訓練數(shù)據(jù)提取攻擊實際上可以重建訓練數(shù)據(jù)。這是一個挑戰(zhàn)，因為“使用機密或敏感數(shù)據(jù)訓練的ML系統(tǒng)會在訓練中將數(shù)據(jù)的某些屬性植入模型。”Berryville機器學習研究所的聯(lián)合創(chuàng)始人Gary McGraw解釋說。
4
模型提取攻擊
攻擊者不僅可以從AI/ML部署中竊取數(shù)據(jù)，還可能通過各種類型的模型盜竊攻擊來竊取特定AI/ML模型工作原理和方法的機密信息。攻擊者最有可能采用直接措施，例如通過網(wǎng)絡(luò)釣魚或密碼攻擊入侵私人源代碼存儲庫，以徹底竊取模型。
但研究人員還探索了攻擊者如何對他們無法用上述方法訪問的模型實施模型提取攻擊，通過系統(tǒng)地查詢模型來重建模型如何預(yù)測某事。那些對與核心產(chǎn)品緊密相關(guān)的專有AI模型進行大量內(nèi)部投資的組織的CISO尤其需要警惕此類攻擊。
5
海綿攻擊
2023年RSA會議有一個專家小組討論了CISO將在未來幾年面對的即將到來的AI風險和彈性問題。討論最引人矚目的一個話題是一種新興攻擊——海綿攻擊。在這種攻擊類型中，對手可通過特制輸入來消耗模型的硬件資源，從而對AI模型進行拒絕服務(wù)攻擊。
“該攻擊試圖讓神經(jīng)網(wǎng)絡(luò)使用更多的計算，以達到可能超過系統(tǒng)可用計算資源的程度，并導致系統(tǒng)崩潰。”CalypsoAI的首席執(zhí)行官Neil Serebryany解釋道。
6
快速注入攻擊
老一輩開發(fā)人員常掛在嘴邊的格言是永遠不要相信用戶輸入，因為這樣做容易導致SQL注入和跨站點腳本等攻擊。針對常規(guī)應(yīng)用程序的注入攻擊已經(jīng)非常普遍，在最新的OWASP前10名中仍然占據(jù)第三位。現(xiàn)在隨著生成AI的加入，CISO也將不得不擔心針對AI系統(tǒng)的快速注入攻擊。
提示注入是輸入惡意制作的提示（詞）到生成AI中，以引發(fā)不正確、不準確甚至可能具有攻擊性的響應(yīng)。這個問題可能特別麻煩，因為越來越多的開發(fā)人員將ChatGPT和其他大型語言模型(LLM)集成到他們的應(yīng)用程序中，以便用戶的提示被AI處理并觸發(fā)一些其他操作，例如將內(nèi)容發(fā)布到網(wǎng)站或制作自動電子郵件，這方面的潛在威脅還包括生成或傳播錯誤甚至煽動性的信息。
7
逃避攻擊
逃避攻擊是最著名的一類對抗性AI攻擊，其中一些攻擊非常簡單，甚至很有趣。這些攻擊可以通過一些視覺欺騙來逃避檢測或分類系統(tǒng)——比如面部識別或自動車輛視覺系統(tǒng)。例如，在停車標志上使用惡意制作的貼紙可能會使自動駕駛汽車無法正確閱讀。
最近，在機器學習規(guī)避競賽(MLSEC 2022)上引起廣泛關(guān)注的一次攻擊中，攻擊者讓AI面部識別系統(tǒng)微調(diào)名人照片，讓他們被識別為完全不同的人。
8
人工智能生成的網(wǎng)絡(luò)釣魚和BEC誘餌
上述大多數(shù)攻擊都是針對企業(yè)AI系統(tǒng)的攻擊。壞人不僅會探索AI系統(tǒng)的缺陷，同時還會利用AI來增強他們對企業(yè)應(yīng)用和系統(tǒng)的攻擊。
攻擊者的手段正不斷增加，例如用像ChatGPT這樣的生成人工智能來自動創(chuàng)建網(wǎng)絡(luò)釣魚電子郵件。安全研究人員已經(jīng)報告說，自從ChatGPT在線發(fā)布以來，網(wǎng)絡(luò)釣魚的數(shù)量和“成功率”都有所增加。這是一個巨大的威脅，被列入SANS 2023年最危險的5大網(wǎng)絡(luò)攻擊名單。
9
Deepfake BEC和其他騙局
ChatGPT已經(jīng)將deepfake（深度偽造）攻擊從理論變成了現(xiàn)實威脅。CISO應(yīng)該努力提高企業(yè)范圍的安全意識，幫助員工認識到語音和視頻等人工智能生成的媒體比以往任何時候都更容易制作，這使得冒充CEO或其他高管實施BEC商業(yè)電子郵件攻擊騙取大筆資金變得非常容易。
10
人工智能生成的惡意軟件和漏洞發(fā)現(xiàn)
安全研究人員預(yù)計，攻擊者將越來越依賴生成式AI來幫助他們制作惡意軟件并快速發(fā)現(xiàn)目標系統(tǒng)中的漏洞，以比他們此前已經(jīng)開始使用的其他自動化技術(shù)效率高得多，能夠快速擴大攻擊規(guī)模。這也是SANS 2023年列舉的最危險的五大網(wǎng)絡(luò)攻擊中的一種。
在RSAC 2023上，SANS安全專家史蒂文·西姆斯(Steven Sims)展示了即使是不懂技術(shù)的犯罪分子也可以輕松獲得ChatGPT來生成勒索軟件代碼，或者在一段代碼中發(fā)現(xiàn)零日漏洞。
