本文來自微信公眾號(hào)“安在”，作者/走狗是狗哥。
當(dāng)前，隨著AI的興起，風(fēng)靡諸多行業(yè)，企業(yè)也正尋找越來越多的理由和借口來使用生成式AI，這就使得制定“以安全為中心的生成式AI策略”比以往任何時(shí)候都更為重要。
企業(yè)采用生成式AI作為一種行之有效工具的熱潮，引起了網(wǎng)絡(luò)安全界的擔(dān)憂。為何會(huì)擔(dān)憂，乃是因?yàn)樵摷夹g(shù)的引入速度，超過了其管理使用指南的引入速度，特別是其可以新的安全威脅和數(shù)據(jù)隱私風(fēng)險(xiǎn)，并且目前已經(jīng)有例可循，并非危言聳聽。
隨著業(yè)務(wù)體量的激增，首席信息安全官的職責(zé)則變得很明確：如果你沒有專門針對(duì)生成式AI的強(qiáng)大人工智能安全策略，則需要立即制定一個(gè)。雖然圍繞人工智能的引入和使用規(guī)則在企業(yè)中通常處于模糊地帶，但生成式AI是一種新的野獸——它發(fā)展迅速，前途無限，并且必然伴生一些非常嚴(yán)重的安全隱患。
首席信息安全官面臨的挑戰(zhàn)是，制定網(wǎng)絡(luò)安全策略，不僅要接受和支持企業(yè)采用這項(xiàng)技術(shù)，還要在不扼殺創(chuàng)新的情況下，有效應(yīng)對(duì)風(fēng)險(xiǎn)。任何認(rèn)為他們可以推遲一兩年看看生成式AI如何發(fā)展的人，寄希望于以后修改適合生成式AI普遍性的安全策略，都應(yīng)該認(rèn)真考慮影子IT發(fā)生了什么。
從安全策略的角度來看，當(dāng)一項(xiàng)新興技術(shù)開始應(yīng)用到企業(yè)運(yùn)轉(zhuǎn)時(shí)，企業(yè)在處理這類技術(shù)方面往往進(jìn)展緩慢，存在較大的滯后性。
注意從影子IT中吸取的經(jīng)驗(yàn)教訓(xùn)
隨著時(shí)間的推移，安全團(tuán)隊(duì)試圖通過某些策略來控制影子IT，以減輕其引入帶來的過多風(fēng)險(xiǎn)和挑戰(zhàn)，但事實(shí)上因?yàn)楦鞣N因素，安全風(fēng)險(xiǎn)往往難以消除。
IT研究與顧問咨詢公司Gartner的數(shù)據(jù)顯示，2022年，41%的員工在IT部門之外獲取、修改或創(chuàng)建了技術(shù)，而Capterra的2023年影子IT和項(xiàng)目管理調(diào)查發(fā)現(xiàn)，57%的中小型企業(yè)在其IT部門職權(quán)范圍之外發(fā)生了影響力很大的影子IT事件。
雖然生成式AI與影子IT是截然不同的東西，但生成式AI的起飛速度比影子IT快得多。我們可以預(yù)見的教訓(xùn)是，隨著新技術(shù)使用的增長(zhǎng)，應(yīng)該在早期階段制定以安全為中心的策略，而不是在達(dá)到無法管理的規(guī)模之后才被迫去制定相關(guān)策略。
然而，雪上加霜的是，如果不受管理，生成式AI可能會(huì)潛入到企業(yè)之中，增加企業(yè)的潛在安全風(fēng)險(xiǎn)，且這些風(fēng)險(xiǎn)目前仍在探索和發(fā)掘之中。
當(dāng)前需要以安全為中心的生成AI策略
在過去的幾個(gè)月里，大多數(shù)組織一直在以某種方式嘗試使用生成式AI，但現(xiàn)在他們真的需要考慮安全政策的影響，NetSkope CISO Neil Thacker說：“我們正處于希望看到生成式AI為企業(yè)服務(wù)的真正價(jià)值的階段，但很快，我們將不得不開始考慮控制它。
Salesforce最近對(duì)500多名高級(jí)IT領(lǐng)導(dǎo)者進(jìn)行的一項(xiàng)調(diào)查顯示，盡管大多數(shù)人（67%）在未來18個(gè)月內(nèi)優(yōu)先考慮為其業(yè)務(wù)提供生成式AI，但幾乎所有人都承認(rèn)，在成功利用該技術(shù)的同時(shí)，必須采取額外措施解決安全問題。
Thacker說，問題在于，大多數(shù)組織，無論規(guī)?；蛐袠I(yè)如何，在如何控制和管理生成式AI的安全使用方面，都面臨著同樣的挑戰(zhàn)。比如：生成式AI在政策集和政策框架中處于什么位置？是關(guān)于訪問控制嗎？是圍繞數(shù)據(jù)的加密嗎？是圍繞惡意軟件等威脅元素嗎？
Thacker說，生成式AI不斷發(fā)展的能力復(fù)雜性及其日益普遍性表明，其將在眾多領(lǐng)域觸達(dá)更多的影響力，因而首席信息安全官和安全團(tuán)隊(duì)要試圖領(lǐng)先于生成式AI。他補(bǔ)充說，有效的生成式AI安全策略可以建立在人員、流程和技術(shù)的可信安全三要素之上，但生成式AI的獨(dú)特性更加強(qiáng)調(diào)與業(yè)務(wù)范圍、潛在風(fēng)險(xiǎn)和策略應(yīng)用相關(guān)的持續(xù)交互關(guān)系。
業(yè)務(wù)一致性是CISO面臨的最大挑戰(zhàn)和機(jī)遇
業(yè)務(wù)協(xié)調(diào)，可能是首席信息安全官面臨生成式AI安全政策最大的挑戰(zhàn)，也可能是最大的機(jī)會(huì)。這是一個(gè)相當(dāng)大的挑戰(zhàn)，因?yàn)榇蠖鄶?shù)組織將購買而不是構(gòu)建生成式AI，許多組織甚至可能不直接購買生成式AI，而是通過捆綁集成將之納入。
因此，這需要投入大量時(shí)間來理解盡可能多的生成式AI業(yè)務(wù)應(yīng)用，以及生成式AI本身的擴(kuò)展功能，并將其制定成策略。這是一個(gè)機(jī)會(huì)，因?yàn)檫@意味著針對(duì)生成式AI的安全控制可以從一開始就融入企業(yè)運(yùn)營(yíng)實(shí)踐中，以期符合業(yè)務(wù)需求和目標(biāo)。
最終目標(biāo)是創(chuàng)建一個(gè)自上而下的、適合業(yè)務(wù)的安全策略，該策略幾乎可以自主地在整個(gè)公司內(nèi)被理解和運(yùn)轉(zhuǎn)。它不能是孤立在安全性中的東西，不同的業(yè)務(wù)功能應(yīng)該能夠?qū)⑵鋺?yīng)用于生成式AI的安全使用，而無需由安全團(tuán)隊(duì)人為干預(yù)。
（ISC）首席信息安全官Jon France說：“這歸結(jié)為經(jīng)典的風(fēng)險(xiǎn)管理。應(yīng)當(dāng)了解什么對(duì)業(yè)務(wù)很重要，并了解開發(fā)或使用這項(xiàng)技術(shù)與業(yè)務(wù)相關(guān)的風(fēng)險(xiǎn)。”
了解企業(yè)的生成式AI實(shí)踐
生成式AI實(shí)踐，因此安全策略，不僅因業(yè)務(wù)而異，而且可能在部門之間有所不同（這是需要充分理解的另一個(gè)原因）。處理特別敏感信息的組織，或在強(qiáng)監(jiān)管的行業(yè)中，可能會(huì)試圖完全禁止使用人工智能。
一些公司已經(jīng)這樣做了：三星在使用生成式AI時(shí)意外泄露了敏感的公司信息后便禁止使用。但是，這種嚴(yán)格、全面禁止的方法可能存在問題，扼殺安全、創(chuàng)新的使用，并產(chǎn)生影子IT中普遍存在的策略解決方法風(fēng)險(xiǎn)類型。更復(fù)雜的實(shí)踐風(fēng)險(xiǎn)管理方法可能更加有效。
“例如，開發(fā)團(tuán)隊(duì)可能正在處理不應(yīng)上傳到生成式AI服務(wù)的敏感專有代碼，而營(yíng)銷部門可以使用此類服務(wù)以相對(duì)安全的方式完成日常工作”。Hornetsecurity的安全傳播者Andy Syrewicze說。
有了此類認(rèn)知，首席信息安全官可以就策略做出更明智的決策，平衡實(shí)踐與安全風(fēng)險(xiǎn)。
盡可能了解生成式AI的功能
除了了解不同的業(yè)務(wù)實(shí)踐外，首席信息安全官還需要了解生成式AI的功能，這些功能目前仍在不斷迭進(jìn)發(fā)展。
France認(rèn)為：“這將需要一些技能，安全從業(yè)者將不得不學(xué)習(xí)什么是生成式AI的基礎(chǔ)知識(shí)，什么不是。”
埃維諾全球網(wǎng)絡(luò)安全卓越中心負(fù)責(zé)人Jason Revill表示，首席信息安全官已經(jīng)在努力跟上現(xiàn)有安全功能的變化步伐，因此，在圍繞生成式AI提供高級(jí)專業(yè)知識(shí)的基礎(chǔ)上，將具有挑戰(zhàn)性。
Jason Revill補(bǔ)充說：“他們通常落后于曲線幾步，我認(rèn)為這是由于技能短缺和監(jiān)管滯后，但也因?yàn)榘踩M(jìn)技術(shù)呈指數(shù)級(jí)增長(zhǎng)。首席信息安全官可能需要考慮盡早引入外部專家?guī)椭?，以領(lǐng)先于生成式AI，而不僅僅是讓項(xiàng)目業(yè)務(wù)繼續(xù)開展下去。”
數(shù)據(jù)控制是生成式AI安全策略重要部分
Syrewicze說：“至少，企業(yè)應(yīng)該制定內(nèi)部政策，規(guī)定允許哪些類型的信息與生成式AI工具一起使用。”
與使用先進(jìn)的自我學(xué)習(xí)的人工智能算法共享敏感業(yè)務(wù)信息相關(guān)的風(fēng)險(xiǎn)是有據(jù)可查的，因此圍繞哪些數(shù)據(jù)可以進(jìn)入并被生成式AI系統(tǒng)使用的適當(dāng)指導(dǎo)方針和控制肯定是關(guān)鍵。
France強(qiáng)調(diào)：“對(duì)于你放入模型中的內(nèi)容，以及是否會(huì)用于訓(xùn)練以便其他人可以使用它，存在知識(shí)產(chǎn)權(quán)問題。”
Iterate.ai聯(lián)合創(chuàng)始人兼首席技術(shù)官Brian Sathianathan認(rèn)為：“圍繞數(shù)據(jù)加密方法、匿名化和其他數(shù)據(jù)安全措施的強(qiáng)有力的政策，可以防止未經(jīng)授權(quán)的訪問、使用或傳輸數(shù)據(jù)，人工智能系統(tǒng)經(jīng)常大量處理這些數(shù)據(jù)，使技術(shù)更安全，數(shù)據(jù)可以得到有效保護(hù)。”
Revill說，數(shù)據(jù)分類、數(shù)據(jù)丟失預(yù)防和檢測(cè)功能是內(nèi)部風(fēng)險(xiǎn)管理的新興領(lǐng)域，成為控制生成式AI使用的關(guān)鍵。“你如何緩解或保護(hù)、測(cè)試和沙盒數(shù)據(jù)？測(cè)試和開發(fā)環(huán)境通常很容易成為目標(biāo)，并且可以從中導(dǎo)出數(shù)據(jù)，因?yàn)樗鼈兺幌窳魉€生產(chǎn)那樣具有嚴(yán)格的質(zhì)量控制。”
必須檢查生成式AI生成內(nèi)容的準(zhǔn)確性
除了控制哪些數(shù)據(jù)進(jìn)入生成式AI外，安全策略還應(yīng)涵蓋生成式AI生成的內(nèi)容。這里的主要問題與“幻覺”有關(guān)，即生成式AI聊天機(jī)器人（如ChatGPT）使用的大型語言模型（LLM）會(huì)反芻看似可信但實(shí)際錯(cuò)誤的不準(zhǔn)確之處。
因此，如果關(guān)鍵決策過度依賴輸出數(shù)據(jù)，而沒有進(jìn)一步分析其準(zhǔn)確性，特別是與業(yè)務(wù)關(guān)鍵事項(xiàng)有關(guān)，這將成為一個(gè)重大風(fēng)險(xiǎn)。
例如，如果一家公司依靠LLM來生成安全報(bào)告和分析，并且LLM生成的報(bào)告包含公司用于做出關(guān)鍵安全決策的錯(cuò)誤數(shù)據(jù)，則由于依賴不準(zhǔn)確的LLM生成的內(nèi)容，可能會(huì)產(chǎn)生重大影響。
Thacker認(rèn)為，任何有價(jià)值的生成式AI安全策略都應(yīng)該包括明確的流程，用于手動(dòng)審查生成內(nèi)容的準(zhǔn)確性以進(jìn)行合理化，并且永遠(yuǎn)不要認(rèn)為可以在這方面節(jié)省投入。
這時(shí)還應(yīng)考慮未經(jīng)授權(quán)的代碼執(zhí)行，當(dāng)攻擊者利用LLM通過自然語言提示在底層系統(tǒng)上執(zhí)行惡意代碼、命令或操作時(shí)，就會(huì)發(fā)生這種情況。
在安全策略中包含生成AI增強(qiáng)型攻擊
Deep Instinct首席信息官兼花旗全球基礎(chǔ)設(shè)施防御和CISO前負(fù)責(zé)人Carl Froggett認(rèn)為，生成式AI增強(qiáng)攻擊也應(yīng)該納入安全策略的范圍，特別是在企業(yè)如何應(yīng)對(duì)這些攻擊方面。
例如，組織如何處理冒充和社會(huì)工程學(xué)，將需要重新審視，因?yàn)樯墒紸I可以使虛假內(nèi)容與現(xiàn)實(shí)模糊不清。
Carl Froggett補(bǔ)充說：“從CISO的角度來看，使用生成式AI來攻擊公司，更加令CISO們擔(dān)憂。”
Froggett引用了一個(gè)假設(shè)場(chǎng)景，其中惡意行為者使用生成AI來創(chuàng)建自己的逼真錄音，偽造他獨(dú)特的表達(dá)和俚語，以用于欺騙員工。他說，這種情況使得傳統(tǒng)的社會(huì)工程控制（例如檢測(cè)電子郵件中的拼寫錯(cuò)誤或惡意鏈接）變得多余。員工會(huì)相信他們真的和你說過話，聽到過你的聲音，并覺得這是真實(shí)的。
因此，從技術(shù)和意識(shí)的角度來看，安全策略需要根據(jù)生成式AI引入的增強(qiáng)的社會(huì)工程威脅進(jìn)行更新。
溝通培訓(xùn)是生成式AI安全策略成功關(guān)鍵
要使任何安全策略取得成功，都需要得到良好的溝通和可訪問性。“這是一個(gè)技術(shù)挑戰(zhàn)，但它也關(guān)乎我們?nèi)绾螠贤ㄋ?rdquo;，Thacker說。他補(bǔ)充說，安全策略的溝通需要改進(jìn)，利益相關(guān)者管理也是如此，首席信息安全官必須從業(yè)務(wù)角度調(diào)整安全策略的呈現(xiàn)方式，特別是與流行的新技術(shù)創(chuàng)新相關(guān)的東西。
這還包括培訓(xùn)員工了解生成式AI所暴露的新業(yè)務(wù)風(fēng)險(xiǎn)的新政策。Revill說：“教員工如何負(fù)責(zé)任地使用生成式AI，闡明一些風(fēng)險(xiǎn)，但也讓他們知道，企業(yè)正在以經(jīng)過驗(yàn)證的、負(fù)責(zé)任的方式實(shí)現(xiàn)這一目標(biāo)。”
供應(yīng)鏈管理對(duì)于生成式AI控制仍很重要
生成式AI安全策略不應(yīng)忽略供應(yīng)鏈和第三方管理，應(yīng)當(dāng)采用相同級(jí)別的盡職調(diào)查，來衡量外部生成式AI的使用情況、風(fēng)險(xiǎn)級(jí)別和策略，以評(píng)估它們是否對(duì)組織構(gòu)成威脅。“供應(yīng)鏈風(fēng)險(xiǎn)并沒有隨著生成式AI而消失——有許多第三方集成需要考慮”，Revill說。
云服務(wù)提供商也面臨這樣的問題。Thacker認(rèn)為：“我們知道，組織擁有數(shù)百甚至數(shù)千種云服務(wù)，而且它們都是第三方供應(yīng)商。因此，需要對(duì)大多數(shù)各方進(jìn)行相同的盡職調(diào)查，這不僅僅是你首次登錄或使用服務(wù)時(shí)的注冊(cè)，還必須不斷進(jìn)行審查。
Thacker說，廣泛的供應(yīng)商調(diào)查問卷盡可能多地詳細(xì)說明任何第三方的生成AI使用情況是目前要走的路。比如要囊括的一些重要問題：你輸入了哪些數(shù)據(jù)？如何保護(hù)？會(huì)話如何受到限制？如何確保數(shù)據(jù)不會(huì)在其他組織和模型訓(xùn)練之間共享？
Thacker認(rèn)為，許多公司可能無法立即回答這些問題，尤其是在他們使用通用服務(wù)方面，但重要的是盡快進(jìn)行這些對(duì)話，以獲得盡可能多的洞察力。
讓生成式AI安全策略更加完備
最后要考慮的是，使生成式AI安全策略盡可能令人興奮和互動(dòng)的好處，Revill說：“我覺得這是一個(gè)如此大的轉(zhuǎn)折點(diǎn)，任何沒有向員工展示他們正在考慮如何利用生成式AI來提高生產(chǎn)力并使員工的生活更輕松的組織，都可能發(fā)現(xiàn)自己處于一個(gè)尷尬和棘手的境地。
Revill補(bǔ)充說，下一代數(shù)字原住民無論如何都會(huì)在自己的設(shè)備上使用這項(xiàng)技術(shù)，所以你不妨教他們?cè)诠ぷ魃钪袑?duì)這項(xiàng)技術(shù)負(fù)責(zé)，這樣你就保護(hù)了整個(gè)企業(yè)。“我們希望成為業(yè)務(wù)中的安全促進(jìn)者——使業(yè)務(wù)運(yùn)轉(zhuǎn)更加安全，而不是阻礙業(yè)務(wù)創(chuàng)新。
國(guó)內(nèi)安全專家的建議
某世界500強(qiáng)國(guó)內(nèi)金融公司安全總監(jiān)Daker認(rèn)為，生成式AI帶來的風(fēng)險(xiǎn)是毫無疑問的，并且越來越多的企業(yè)需要接納生成式AI，而不是排斥或抗拒，而應(yīng)當(dāng)主動(dòng)去學(xué)習(xí)和接納，以及學(xué)會(huì)以彼之道還施彼身，即CISO必須利用生成式AI來加強(qiáng)企業(yè)的網(wǎng)安策略，并開發(fā)出更為強(qiáng)大的防御措施，以抵御此起彼伏的更為復(fù)雜的惡意攻擊。
我認(rèn)為，CISO目前面臨的最大挑戰(zhàn)是網(wǎng)安技能和網(wǎng)安視野相對(duì)于生成式AI技術(shù)突飛猛進(jìn)的差距，對(duì)于安全管理者而言，以往生成式AI產(chǎn)生的風(fēng)險(xiǎn)威脅遠(yuǎn)沒有現(xiàn)在以及以后劇烈，并且這種劇烈程度是超乎很多人想象的，所以，作為企業(yè)安全的負(fù)責(zé)人，應(yīng)當(dāng)主動(dòng)去學(xué)習(xí)生成式AI相關(guān)的前沿知識(shí)，掌握最新信息，并確保能夠有效地傳達(dá)給團(tuán)隊(duì)人員。因?yàn)榘踩珗F(tuán)隊(duì)的成員沒有跟上新技術(shù)新理念，則無法在操作層面保護(hù)企業(yè)免受生成式AI所帶來的實(shí)際威脅。
我們要清醒地認(rèn)識(shí)到，現(xiàn)在整個(gè)社會(huì)已經(jīng)進(jìn)入了生成式AI的時(shí)代，這是大勢(shì)所趨，不可逆轉(zhuǎn)。因此，更加頻繁和復(fù)雜的網(wǎng)絡(luò)攻擊勢(shì)必會(huì)隨之而生。對(duì)于CISO來說，這是一個(gè)挑戰(zhàn)，也是一項(xiàng)機(jī)遇。因?yàn)槿绻麤]有新的風(fēng)險(xiǎn)威脅，CISO的價(jià)值可能就無法更好地體現(xiàn)出來。
因此，CISO們首先必須接受這一新的現(xiàn)實(shí)，并善于利用AI的力量來對(duì)抗生成式AI所帶來的網(wǎng)絡(luò)攻擊。實(shí)際上，網(wǎng)安本質(zhì)就是一個(gè)貓捉老鼠的游戲，老鼠的反捕捉技能突飛猛進(jìn)的話，貓想要生存，只能保證自己的捕捉技能永遠(yuǎn)凌駕于老鼠的反捕捉技能之上。
華為高級(jí)開發(fā)工程師Gfeng認(rèn)為，管理好生成式AI所帶來的風(fēng)險(xiǎn)問題，需要從監(jiān)管層面、技術(shù)層面和企業(yè)管理層面來進(jìn)行。
在監(jiān)管層面，需要建立和健全生成式AI相關(guān)的監(jiān)督管理制度與標(biāo)準(zhǔn)，比如算法分級(jí)分類管理、算法推薦服務(wù)安全管理、AI濫用風(fēng)險(xiǎn)上報(bào)渠道等等，并定期或經(jīng)常針對(duì)AI應(yīng)用安全合規(guī)性評(píng)估審查與處置。
在技術(shù)層面，則要大力研究生成式AI賦能網(wǎng)安技術(shù)，比如針對(duì)復(fù)雜網(wǎng)絡(luò)攻擊的防御能力，還要研究利用生成式AI技術(shù)提升企業(yè)在網(wǎng)安攻擊檢測(cè)、數(shù)據(jù)資產(chǎn)識(shí)別與風(fēng)險(xiǎn)監(jiān)測(cè)、業(yè)務(wù)風(fēng)控、惡意信息識(shí)別、威脅分析、偽造識(shí)別等方面的能力。
在企業(yè)管理層面，企業(yè)要制定生成式AI整體安全策略，編寫生成式AI標(biāo)準(zhǔn)規(guī)范與技術(shù)指南，并培養(yǎng)或招攬生成式AI安全領(lǐng)域?qū)I(yè)人才，針對(duì)性地進(jìn)行生成式AI安全新技術(shù)新業(yè)務(wù)安全風(fēng)險(xiǎn)評(píng)估和技術(shù)研發(fā)，強(qiáng)化安全技術(shù)手段建設(shè)，建設(shè)涵蓋網(wǎng)絡(luò)安全、算法安全、數(shù)據(jù)安全與隱私保護(hù)等功能的生成式AI安全管控能力。此外，安全與人息息相關(guān)，還要對(duì)企業(yè)員工業(yè)務(wù)開展和日常工作中使用各類生成式AI進(jìn)行規(guī)范培訓(xùn)。
