本文來自微信公眾號“GoUpSec”。
基于大語言模型的生成式AI應(yīng)用正野火般蔓延，對企業(yè)和個(gè)人數(shù)據(jù)安全構(gòu)成嚴(yán)重威脅。對于DLP（數(shù)據(jù)丟失防護(hù)）廠商來說，“大模型的大風(fēng)險(xiǎn)”不但是一次空前嚴(yán)峻的挑戰(zhàn)，同時(shí)也蘊(yùn)含著巨大商機(jī)，全球各路DLP廠商已經(jīng)摩拳擦掌，八仙過海，紛紛推出了針對性的功能或措施。
根據(jù)IDC今年8月發(fā)布的報(bào)告，65%的企業(yè)已經(jīng)部署了生成式AI，19%的企業(yè)正在積極探索，13%的企業(yè)仍在考慮。只有3%的企業(yè)不打算使用生成式AI。
隨著生成式AI的快速普及，大語言模型應(yīng)用的數(shù)據(jù)安全風(fēng)險(xiǎn)正在快速累積。
根據(jù)Cyberhaven的調(diào)查，企業(yè)流向ChatGPT等大語言模型應(yīng)用的數(shù)據(jù)中有11%是敏感數(shù)據(jù)。僅僅在今年2月份的一周內(nèi)，平均每10萬員工中發(fā)生了43起敏感項(xiàng)目文件泄露、75起受監(jiān)管個(gè)人數(shù)據(jù)泄露、70起受監(jiān)管醫(yī)療數(shù)據(jù)泄露、130起客戶數(shù)據(jù)泄露、119起源代碼泄露和150起機(jī)密文件泄露事件。
IDC表示，企業(yè)采用生成式人工智能的最大障礙是擔(dān)心敏感信息會泄露到AI廠商的大型語言模型中。許多公共AI平臺的訓(xùn)練數(shù)據(jù)來自與用戶的互動(dòng)，這意味著如果用戶將公司秘密上傳到AI，將有可能泄露給下一個(gè)與之互動(dòng)的用戶。不僅僅是公共AI模型存在數(shù)據(jù)泄露風(fēng)險(xiǎn)，企業(yè)內(nèi)部部署的私有大語言模型如果吸收了敏感公司數(shù)據(jù)，可能會將這些數(shù)據(jù)提供給不應(yīng)該看到它們的員工。
面對大語言模型的數(shù)據(jù)安全風(fēng)險(xiǎn)，大多數(shù)企業(yè)并未因噎廢食，而是選擇有效的DLP工具來緩解風(fēng)險(xiǎn)。根據(jù)Netskope今年7月發(fā)布的報(bào)告，許多行業(yè)已經(jīng)開始使用DLP工具來保護(hù)生成式AI。例如，在金融服務(wù)業(yè)，19%的公司使用數(shù)據(jù)丟失防護(hù)工具，在醫(yī)療行業(yè)，這一數(shù)字是21%。在科技行業(yè)，26%的企業(yè)正在使用DLP來降低大語言模型應(yīng)用的風(fēng)險(xiǎn)。
根據(jù)Gartner9月份發(fā)布的一項(xiàng)調(diào)查，34%的組織已經(jīng)在使用或正在部署DLP之類的AI安全工具，另有56%的企業(yè)表示他們正在探索此類工具。
對于DLP廠商來說，大模型的大風(fēng)險(xiǎn)不但是一次空前嚴(yán)峻的挑戰(zhàn)，同時(shí)也蘊(yùn)含著巨大商機(jī)，全球各路DLP廠商已經(jīng)摩拳擦掌，八仙過海，紛紛推出了針對性的功能或措施，對大模型數(shù)據(jù)交互進(jìn)行監(jiān)控、過濾和訪問控制。
以下，我們整理了13家DLP廠商的“大模型戰(zhàn)略”：
Skyhigh：跟蹤超過500個(gè)AI應(yīng)用
Skyhigh Security的CASB產(chǎn)品包含DLP工具，這也是其SSE平臺的一部分。該公司在過去的一年中火速增加了對生成式AI用例的支持。
Skyhigh在其云注冊表中跟蹤了超過500個(gè)不同的AI云服務(wù)提供商，自今年1月份以來增長了130%。該云注冊表還可快速識別新的生成式AI應(yīng)用程序及其對應(yīng)的風(fēng)險(xiǎn)等級。
Skyhigh還與許多添加了生成式AI功能的企業(yè)應(yīng)用程序進(jìn)行了直接API集成，包括Box、Google、Microsoft、Salesforce、ServiceNow、Slack、Workday、Workplace和Zoom，從而能夠更好地洞察和控制數(shù)據(jù)流。
Zscaler：提供細(xì)粒度的預(yù)定義人工智能控制
截至今年5月，Zscaler已經(jīng)識別了數(shù)百個(gè)生成式AI工具和網(wǎng)站，并創(chuàng)建了一個(gè)AI應(yīng)用程序名單，用于實(shí)現(xiàn)細(xì)粒度的DLP控制，幫助企業(yè)阻止違規(guī)訪問，或向訪問AI應(yīng)用的用戶發(fā)出警告。
Zscaler全球CISO兼安全研究和運(yùn)營主管Deepen Desai表示，企業(yè)要求屏蔽最多的AI應(yīng)用是ChatGPT和Drift，后者是一個(gè)整合了生成式AI工具的銷售和營銷平臺。
Desai指出，對于DLP廠商來說，最大的難題不僅是用戶會向AI發(fā)送文件，DLP還需要檢測文本和表單中的敏感數(shù)據(jù)，同時(shí)又不能產(chǎn)生太多誤報(bào)。
此外，開發(fā)人員正在使用生成式AI來調(diào)試代碼和編寫單元測試用例。Desai表示：“檢測源代碼中的敏感信息（例如云服務(wù)密鑰、敏感令牌、加密密鑰）并防止生成式AI工具學(xué)習(xí)這些敏感數(shù)據(jù)非常重要。”
CloudFlare：將DLP服務(wù)擴(kuò)展到生成式AI
Cloudflare于今年5月擴(kuò)展了其SASE平臺Cloudflare One，添加了生成式AI的數(shù)據(jù)丟失防護(hù)功能（例如對社會安全號碼或信用卡號碼的簡單檢查）。該公司還為特定團(tuán)隊(duì)提供定制掃描，并為特定個(gè)人提供精細(xì)規(guī)則。此外，CloudFlare還可以幫助企業(yè)了解員工何時(shí)使用人工智能服務(wù)。
9月，CloudFlare宣布為OpenAI、Bard和Github Copilot提供數(shù)據(jù)暴露可視性方案，并發(fā)布了Applied Systems使用Cloudflare One來保護(hù)AI環(huán)境（包括ChatGPT）數(shù)據(jù)的應(yīng)用案例。
此外，CloudFlare的AI網(wǎng)關(guān)位于AI應(yīng)用和關(guān)聯(lián)的第三方模型之間，已經(jīng)支持OpenAI、HuggingFace、Replicate等模型提供商，并計(jì)劃在未來添加更多模型提供商，CloudFlare未來計(jì)劃為AI網(wǎng)關(guān)增加DLP功能。例如，可以編輯包含API密鑰等敏感數(shù)據(jù)的請求、刪除這些請求，或者記錄并警告用戶。
Cyberhaven：人工智能的網(wǎng)絡(luò)天堂
據(jù)Cyberhaven稱，截至今年3月，已有4%的工作人員將敏感數(shù)據(jù)上傳到ChatGPT，平均而言，流向ChatGPT的數(shù)據(jù)中有11%是敏感數(shù)據(jù)。
Cyberhaven表示，其DLP產(chǎn)品會自動(dòng)記錄輸入人工智能工具的數(shù)據(jù)，以便企業(yè)能夠了解正在發(fā)生的情況，并制定相應(yīng)的安全策略來控制這些數(shù)據(jù)流。人工智能數(shù)據(jù)丟失防護(hù)的一個(gè)特殊挑戰(zhàn)是：敏感數(shù)據(jù)通常從企業(yè)應(yīng)用程序或文檔中的打開窗口直接剪切并粘貼到ChatGPT等應(yīng)用程序中，無法被檢測文件傳輸?shù)腄LP工具捕捉到。
Cyberhaven的產(chǎn)品解決了這個(gè)痛點(diǎn)，允許企業(yè)自動(dòng)阻止這種敏感數(shù)據(jù)的剪切和粘貼，并告知用戶特定操作被阻止的原因，然后將他們重定向到安全的替代方案，例如私有AI系統(tǒng)，或者允許用戶提供合理解釋解除阻止。
谷歌：通過敏感數(shù)據(jù)保護(hù)服務(wù)防止自定義模型使用敏感數(shù)據(jù)
谷歌的敏感數(shù)據(jù)保護(hù)服務(wù)包括云數(shù)據(jù)丟失防護(hù)技術(shù)，允許公司檢測敏感數(shù)據(jù)并防止其被用于訓(xùn)練生成人工智能模型。該公司在博客文章中指出：“企業(yè)可以使用谷歌云的敏感數(shù)據(jù)保護(hù)在生成人工智能模型的整個(gè)生命周期（從訓(xùn)練到微調(diào)到推理）中添加額外的數(shù)據(jù)保護(hù)層。”
例如，有些用戶希望使用客戶服務(wù)對話記錄來訓(xùn)練其人工智能模型。谷歌的敏感數(shù)據(jù)保護(hù)工具將用數(shù)據(jù)類型的描述（例如“email_address”）替換客戶的電子郵件地址，或者用生成的隨機(jī)數(shù)據(jù)替換實(shí)際的客戶數(shù)據(jù)。
Code42：提供生成式AI安全培訓(xùn)模塊
今年9月，DLP供應(yīng)商Code42發(fā)布了內(nèi)部風(fēng)險(xiǎn)管理計(jì)劃Launchpad，其中包括專注于生成式AI的一系列培訓(xùn)模塊、工具和模板，幫助客戶“解決生成式AI的安全使用問題”。該公司還為客戶提供ChatGPT和其他生成式人工智能工具使用情況的可見性，檢測復(fù)制粘貼活動(dòng)，并在必要時(shí)進(jìn)行阻止。
Fortra：在Digital Guardian中增加生成式AI安全功能
Fortra已經(jīng)在其Digital GuardianDLP工具中添加了特定的生成人工智能相關(guān)功能，幫助其客戶選擇如何管理員工對生成式AI的訪問：從完全阻止訪問到僅阻止輸入特定內(nèi)容，或者僅僅監(jiān)控員工發(fā)布到AI工具的流量和內(nèi)容。”
Fortra表示，企業(yè)為生成型人工智能部署DLP的方式差異很大。例如，教育機(jī)構(gòu)幾乎100%阻止訪問AI工具，媒體和娛樂業(yè)也接近100%。此外，制造業(yè)——特別是敏感行業(yè)，例如軍事工業(yè)，也接近100%。而服務(wù)業(yè)企業(yè)主要關(guān)注的不是阻止工具的使用，而是阻止敏感數(shù)據(jù)發(fā)布到工具上，例如客戶信息或公司產(chǎn)品源代碼等信息。
DoControl：幫助企業(yè)阻止AI應(yīng)用程序，防止數(shù)據(jù)丟失
即使在同一家公司內(nèi)，不同的人工智能工具也會帶來不同的風(fēng)險(xiǎn)。SaaS數(shù)據(jù)丟失防護(hù)公司DoControl表示：“監(jiān)控用戶輸入文檔是否存在拼寫或語法問題的人工智能工具對于營銷人員來說可能是安全的，但對于財(cái)務(wù)、人力資源或企業(yè)戰(zhàn)略人員來說則不可接受。”
DoControl可以評估特定人工智能工具涉及的風(fēng)險(xiǎn)，不僅了解工具本身，還了解用戶的角色和風(fēng)險(xiǎn)級別。DoControl指出，如果該工具風(fēng)險(xiǎn)太大，用戶可以立即獲得有關(guān)風(fēng)險(xiǎn)的教育，并指導(dǎo)他們使用經(jīng)批準(zhǔn)的替代方案。如果用戶認(rèn)為其請求的應(yīng)用程序存在合法的業(yè)務(wù)需求，DoControl可以自動(dòng)在企業(yè)工單系統(tǒng)中創(chuàng)建例外。
到目前為止，在DoControl的客戶中，100%的客戶安裝了某種形式的生成式人工智能，58%的客戶擁有五個(gè)或更多人工智能應(yīng)用程序。此外，24%的客戶部署了擁有廣泛數(shù)據(jù)權(quán)限的AI應(yīng)用程序，12%的客戶存在高風(fēng)險(xiǎn)的AI影子應(yīng)用程序。
Palo Alto Networks：防范主流人工智能應(yīng)用
Palo Alto產(chǎn)品管理副總裁Taylor Ettema表示，企業(yè)越來越關(guān)注基于人工智能的聊天機(jī)器人和助手，例如ChatGPT、Google Bard和Github Copilot。“Palo Alto Networks數(shù)據(jù)安全解決方案使客戶能夠保護(hù)其敏感數(shù)據(jù)免遭數(shù)據(jù)泄露或意外暴露。例如，公司可以阻止用戶將敏感數(shù)據(jù)輸入這些應(yīng)用程序，在統(tǒng)一控制臺中查看標(biāo)記的數(shù)據(jù)，或者完全限制特定應(yīng)用程序的使用。
Ettema表示，所有常見的數(shù)據(jù)安全問題都與生成式AI有關(guān)，包括醫(yī)療數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)和公司機(jī)密的泄露。此外，軟件開發(fā)人員可能會上傳專有代碼來幫助查找和修復(fù)錯(cuò)誤，企業(yè)營銷團(tuán)隊(duì)可能會尋求AI幫助來生成（包含敏感信息或錯(cuò)誤信息）的新聞稿和活動(dòng)文案。”這給DLP產(chǎn)品帶來獨(dú)特的挑戰(zhàn)，市場需要具有自然語言理解、上下文分析和動(dòng)態(tài)策略執(zhí)行的DLP解決方案。
賽門鐵克：增加開箱即用的AI數(shù)據(jù)保護(hù)功能
賽門鐵克數(shù)據(jù)丟失防護(hù)總監(jiān)Bruce Ong表示，現(xiàn)隸屬于Broadcom的賽門鐵克已在其DLP解決方案中添加了生成式AI支持，開箱即用，可對整個(gè)生成式AI應(yīng)用程序進(jìn)行分類，并單獨(dú)或總體監(jiān)視和控制。
ChatGPT是最受關(guān)注的領(lǐng)域，但企業(yè)也開始擔(dān)心谷歌的Bard和微軟的Copilot。下一步企業(yè)將擔(dān)憂的是特殊的新型專用生成式AI應(yīng)用以及集成到垂直應(yīng)用程序中的AI功能。此外，未經(jīng)批準(zhǔn)的人工智能應(yīng)用程序（BYOAI）進(jìn)一步增加了客戶的數(shù)據(jù)丟失風(fēng)險(xiǎn)。
用戶可能會將藥物配方、設(shè)計(jì)圖紙、專利申請、源代碼和其他類型的敏感信息上傳到這些平臺，此類信息通常采用標(biāo)準(zhǔn)DLP無法捕獲的格式。賽門鐵克的應(yīng)對方法是使用光學(xué)字符識別（OCR）來分析潛在的敏感圖像。
Forcepoint：對新一代AI應(yīng)用進(jìn)行分類，提供精細(xì)控制
為了讓Forcepoint ONE SSE的客戶更輕松地管理生成式AI數(shù)據(jù)風(fēng)險(xiǎn)，F(xiàn)orcepoint允許IT部門按類別或單個(gè)應(yīng)用的名稱來管理誰可以訪問生成式AI服務(wù)。Forcepoint副總裁Jim Fulton表示，F(xiàn)orcepoint的DLP產(chǎn)品可以對輸入AI工具的信息類型進(jìn)行精細(xì)控制。公司還可以限制用戶是否可以復(fù)制和粘貼大塊文本或上傳文件。“這確保有業(yè)務(wù)需要使用生成式AI工具的團(tuán)體不會意外或惡意上傳敏感數(shù)據(jù)。”
GTP：面向律師事務(wù)所的生成式AI數(shù)據(jù)丟失防護(hù)
今年6月，兩名紐約律師及其律師事務(wù)所在提交了由ChatGPT撰寫的簡報(bào)（其中包括虛構(gòu)的案例引文）后被罰款。但律師事務(wù)所使用生成式AI的風(fēng)險(xiǎn)不僅限于“內(nèi)容編造”，還存在向人工智能模型泄露敏感客戶信息的風(fēng)險(xiǎn)。
為了解決這一風(fēng)險(xiǎn)，DLP供應(yīng)商GTB Technologies在8月份發(fā)布了專為律師事務(wù)所設(shè)計(jì)的生成式AIDLP解決方案，不僅針對ChatGPT，還涵蓋所有人工智能應(yīng)用。該解決方案通過實(shí)時(shí)監(jiān)控防止敏感數(shù)據(jù)與AI程序共享，從而保護(hù)律師與客戶的權(quán)益，幫助律師事務(wù)所以合規(guī)的方式使用人工智能。
Next DLP：添加了針對主流AI平臺的策略模板
Next DLP于4月份在其Reveal平臺上引入了ChatGPT策略模板，提供預(yù)配置的策略來培訓(xùn)員工如何正確使用ChatGPT，或阻止敏感信息泄露。9月份，NextDLP推出了其他幾個(gè)主要生成式AI平臺的策略模板，包括Hugging Face、Bard、Claude、Dall-E、Copy.AI、Rytr、Tome和Lumen5。
此外，Next DLP在7月份調(diào)查了數(shù)百家公司后發(fā)現(xiàn)，97%的公司至少有一名員工使用ChatGPT，所有員工中使用ChatGPT的人數(shù)比例已經(jīng)達(dá)到8%。Next DLP產(chǎn)品主管John表示：“生成式AI已經(jīng)在企業(yè)內(nèi)部泛濫，但CISO對此既不了解也不能提供有針對性的防護(hù)。”
總結(jié)：冷靜看待DLP的“人工智能熱”
生成式AI不僅是DLP技術(shù)的熱門用例，如果使用得當(dāng)，它還有可能徹底改變DLP自身的工作方式。Omdia新興技術(shù)首席分析師Rik Turner表示，多年來，DLP產(chǎn)品是基于規(guī)則的，屬于靜態(tài)且勞動(dòng)密集型工具。老牌的DLP供應(yīng)商大多已被收購，成為更大平臺的一部分，或者已發(fā)展為數(shù)據(jù)安全態(tài)勢管理方案，生成式AI有望幫助它們增強(qiáng)或取代舊的基于規(guī)則的方法。
IEEE成員、信息安全與合規(guī)專家Rebecca Herold表示：針對生成式AI的DLP工具必須確保它們不會保留所發(fā)現(xiàn)的敏感數(shù)據(jù)。迄今為止，還沒有看到任何供應(yīng)商做到這一點(diǎn)。Herold指出，所有DLP廠商都表示他們正在添加生成式AI防護(hù)功能，但早期的實(shí)現(xiàn)大多僅僅是在用戶界面中添加聊天機(jī)器人。
云數(shù)據(jù)安全公司Dig Security的首席執(zhí)行官丹·本杰明(Dan Benjamin)表示，歸根結(jié)底，并沒有完美的DLP解決方案。企業(yè)很難阻止員工使用VPN或其他方式使用公共ChatGPT。除了加強(qiáng)管控力度外，企業(yè)還需要提供有效的培訓(xùn)，防止員工無意中泄露數(shù)據(jù)。
