本文來自微信公眾號“GoUpSec”。
隨著基于大語言模型的生成式人工智能的企業(yè)和消費(fèi)應(yīng)用快速發(fā)展，其安全風(fēng)險(xiǎn)已經(jīng)開始快速累積。我國不久前剛剛頒布的《生成式人工智能服務(wù)管理暫行辦法》明確規(guī)定了生成式人工智能服務(wù)不得侵犯個(gè)人隱私、知識產(chǎn)權(quán)、商業(yè)機(jī)密或捏造有害虛假信息。
但是由于生成式人工智能技術(shù)已經(jīng)快速滲透到各種產(chǎn)品、服務(wù)和技術(shù)中，業(yè)務(wù)用例不斷增長，相關(guān)內(nèi)容安全和網(wǎng)絡(luò)安全違規(guī)事件勢必將呈現(xiàn)爆發(fā)式增長。Salesforce最近對500多名IT主管進(jìn)行的調(diào)查顯示，盡管大多數(shù)人(67%)在未來18個(gè)月內(nèi)優(yōu)先考慮在其業(yè)務(wù)中使用生成式AI，但幾乎所有IT主管都承認(rèn)需要采取額外措施來解決安全問題。
報(bào)告顯示，大多數(shù)企業(yè)都計(jì)劃購買（而不是開發(fā)）生成式人工智能，許多企業(yè)準(zhǔn)備在業(yè)務(wù)應(yīng)用中集成該功能（服務(wù)）。這意味著安全主管們需要未雨綢繆，投入時(shí)間了解不同業(yè)務(wù)的生成式人工智能用例及其相關(guān)風(fēng)險(xiǎn)。因?yàn)椴煌髽I(yè)和業(yè)務(wù)領(lǐng)域的生成式人工智能用例存在很大差異，引入的安全風(fēng)險(xiǎn)也存在迥然不同。
七個(gè)最熱門的
大語言模型業(yè)務(wù)用例與風(fēng)險(xiǎn)
根據(jù)Forrester的《生成式人工智能安全報(bào)告》，在企業(yè)應(yīng)用市場最熱門的七大生成式人工智能用例及其相關(guān)的安全風(fēng)險(xiǎn)是：
一、營銷：文本生成器允許營銷人員立即生成營銷活動(dòng)的草稿。Forrester表示，這會(huì)帶來數(shù)據(jù)泄露和競爭情報(bào)威脅。大語言模型營銷應(yīng)用的風(fēng)險(xiǎn)還包括內(nèi)容發(fā)布前監(jiān)督和治理流程不善導(dǎo)致的公共關(guān)系/客戶問題。
二、設(shè)計(jì)：Forrester指出，圖像生成工具激發(fā)了設(shè)計(jì)師的靈感，大大提高創(chuàng)意模型的制作效率，但這同時(shí)也引入了模型中毒、數(shù)據(jù)篡改和數(shù)據(jù)完整性威脅。需要考慮的風(fēng)險(xiǎn)包括數(shù)據(jù)完整性問題和生成內(nèi)容的潛在版權(quán)/知識產(chǎn)權(quán)問題。
三、IT：程序員使用大型語言模型(LLM)來查找代碼中的錯(cuò)誤并自動(dòng)生成文檔。Forrester表示，這會(huì)帶來數(shù)據(jù)泄露、數(shù)據(jù)泄露和數(shù)據(jù)完整性威脅，而生成的文檔可能會(huì)泄露公司重要系統(tǒng)機(jī)密信息。
四、開發(fā)人員：TuringBots能幫助開發(fā)人員編寫原型代碼并實(shí)現(xiàn)復(fù)雜的軟件系統(tǒng)。但Forrester認(rèn)為，這會(huì)帶來代碼安全、數(shù)據(jù)篡改、勒索軟件和IP盜竊問題。潛在風(fēng)險(xiǎn)包括不遵循SDLC安全實(shí)踐的不安全代碼、違反知識產(chǎn)權(quán)許可要求的代碼，或生成AI被黑客入侵以勒索生產(chǎn)系統(tǒng)。
五、數(shù)據(jù)科學(xué)家：數(shù)據(jù)科學(xué)家可以利用生成式人工智能生產(chǎn)和共享模型訓(xùn)練數(shù)據(jù)，優(yōu)點(diǎn)之一是不會(huì)侵犯個(gè)人隱私。但這引入了數(shù)據(jù)中毒、數(shù)據(jù)反混淆和對抗性機(jī)器學(xué)習(xí)威脅。對手可利用逆向工程分析合成數(shù)據(jù)生成模型，識別其所使用的源數(shù)據(jù)。
六、銷售：生成式人工智能可幫助銷售團(tuán)隊(duì)產(chǎn)生想法，或者使用包容性語言創(chuàng)建新內(nèi)容。但這同時(shí)這會(huì)帶來數(shù)據(jù)篡改、數(shù)據(jù)泄露和法規(guī)遵從性威脅。銷售團(tuán)隊(duì)用AI生成和分發(fā)內(nèi)容時(shí)可能會(huì)背離聯(lián)系人的偏好。
七、運(yùn)營：企業(yè)可在內(nèi)部運(yùn)營中使用生成式人工智能來提升自動(dòng)化和智能化水平。但這也引入了數(shù)據(jù)篡改、數(shù)據(jù)完整性和員工體驗(yàn)威脅。Forrester指出，風(fēng)險(xiǎn)在于，決策使用的數(shù)據(jù)可能會(huì)被篡改，從而導(dǎo)致錯(cuò)誤的結(jié)論和執(zhí)行。
總結(jié)：留神AI第三方風(fēng)險(xiǎn)
雖然Forrester列出的七大最熱門生成式AI業(yè)務(wù)用例（及風(fēng)險(xiǎn)）都集中在企業(yè)內(nèi)部業(yè)務(wù)功能，但Forrester也敦促企業(yè)安全領(lǐng)導(dǎo)者不要忽視供應(yīng)商和第三方風(fēng)險(xiǎn)因素：“鑒于大多數(shù)組織都會(huì)將生成式人工智能集成到已部署的產(chǎn)品和服務(wù)中，安全領(lǐng)導(dǎo)者的當(dāng)務(wù)之急是管理第三方風(fēng)險(xiǎn)管理，因?yàn)槌宋④浐凸雀柰?，大多?shù)解決方案中的生成式AI來自第三方供應(yīng)商。這些第三方AI服務(wù)的風(fēng)險(xiǎn)管理需要根據(jù)以上不同業(yè)務(wù)用例具體分析。
參考鏈接：
https://www.forrester.com/report/securing-generative-ai/RES179497
