本文來自微信公眾號“安全牛”。
Gartner最近發(fā)布的2025十大戰(zhàn)略技術(shù)趨勢中，Agentic AI（代理型AI）被排在首位，凸顯了Agentic AI在提高生產(chǎn)力、優(yōu)化資源配置和創(chuàng)新商業(yè)模式方面的巨大潛力。但Gartner同時也強調(diào)，Agentic AI的發(fā)展需要強有力的保護(hù)措施，以確保與提供者和用戶意圖的一致性。
值得一提的是，同樣看好Agentic AI前景的人工智能領(lǐng)域的領(lǐng)袖吳恩達(dá)也在提醒人們，要關(guān)注Agentic AI可能帶來的倫理和社會影響，并呼吁各界共同努力，確保AI技術(shù)安全可控地發(fā)展。
安全牛分析認(rèn)為，Agentic AI可能將深刻影響網(wǎng)絡(luò)安全產(chǎn)業(yè)格局。網(wǎng)安人需要緊密關(guān)注Agentic AI帶來的網(wǎng)絡(luò)安全發(fā)展趨勢，未雨綢繆，決勝Agentic AI驅(qū)動的網(wǎng)安未來。
為什么是Agentic AI？
吳恩達(dá)認(rèn)為，Agentic AI的出現(xiàn)是人工智能領(lǐng)域的一場重大變革，Agentic AI將從根本上改變我們與AI的交互方式，也將為人類社會帶來巨大的價值。
Agentic AI具有自主設(shè)定目標(biāo)、做出決策和根據(jù)對復(fù)雜環(huán)境的理解采取行動的先進(jìn)人工智能系統(tǒng)。它通過賦予AI系統(tǒng)更大的自主性、適應(yīng)性和交互能力，使其能夠在復(fù)雜多變的現(xiàn)實世界中發(fā)揮更大的作用。
與傳統(tǒng)的AI系統(tǒng)不同，Agentic AI不僅僅遵循預(yù)定義的規(guī)則，而是強調(diào)目標(biāo)導(dǎo)向行為和連續(xù)學(xué)習(xí)能力。通過利用先進(jìn)的機器學(xué)習(xí)算法、深度神經(jīng)網(wǎng)絡(luò)和復(fù)雜的感知機制，Agentic AI能夠在動態(tài)多變的真實世界中執(zhí)行任務(wù)、優(yōu)化決策并從經(jīng)驗中不斷進(jìn)化。
盡管當(dāng)前Agentic AI還未能自主給日常工作做出決策，但是Gartner預(yù)測，到2028年，至少15%的日常工作決策將由Agentic AI自主做出。從自動化的金融投資管理到個性化的醫(yī)療診斷，Agentic AI將重塑各行各業(yè)的運作方式。事實上，作為實現(xiàn)Agentic AI目標(biāo)的一種手段，AI Agent的應(yīng)用已經(jīng)非常廣泛且成效顯著，比如微軟的Copilot。同時，很多AI Agent初創(chuàng)公司在各個細(xì)分領(lǐng)域探索創(chuàng)新應(yīng)用，各具特色。
Agentic AI的一個關(guān)鍵特征是自主性。與需要人工干預(yù)和監(jiān)督的傳統(tǒng)AI系統(tǒng)不同，Agentic AI被設(shè)計為在最少人為參與的情況下獨立運行。這種自主性使其能夠在復(fù)雜的現(xiàn)實環(huán)境中持續(xù)運作，處理大量非結(jié)構(gòu)化數(shù)據(jù)，并對意外事件做出實時響應(yīng)。同時，Agentic AI還具備自適應(yīng)決策能力，能夠根據(jù)反饋和環(huán)境變化動態(tài)調(diào)整策略，優(yōu)化長期效益。
Agentic AI另一個重要特點是出色的工作流管理能力。通過將復(fù)雜任務(wù)分解為一系列可執(zhí)行的子任務(wù)，Agentic AI能夠自主協(xié)調(diào)和調(diào)度各個模塊，實現(xiàn)高效、靈活的任務(wù)執(zhí)行。這種分布式的工作流管理方式不僅提高了系統(tǒng)的魯棒性和可擴展性，也為異構(gòu)模塊之間的協(xié)同提供了便利。
此外，Agentic AI還擁有強大的自然語言理解和交互能力。借助先進(jìn)的自然語言處理（NLP）技術(shù)，Agentic AI能夠準(zhǔn)確理解人類的指令和意圖，提供個性化的服務(wù)和支持。
隨著算法的不斷進(jìn)步和硬件能力的提升，Agentic AI有望在未來成為推動生產(chǎn)力提升和商業(yè)變革的關(guān)鍵力量。
Agentic AI將帶來怎樣的風(fēng)險？
盡管Agentic AI為各行各業(yè)帶來了巨大的機遇和效益，但它也引入了一系列新的安全風(fēng)險和挑戰(zhàn)。這些風(fēng)險主要源于Agentic AI高度自主、自適應(yīng)的特性，以及其對海量數(shù)據(jù)的依賴。如果不加以適當(dāng)?shù)墓芸睾头婪?，Agentic AI可能被惡意利用、操縱，甚至做出危及人類安全和利益的決策。
Agentic AI的自主決策能力可能帶來意想不到的后果。
由于缺乏人工監(jiān)管和干預(yù)，Agentic AI可能基于有缺陷的數(shù)據(jù)、算法或價值觀做出錯誤甚至有害的判斷。早在2016年，微軟聊天機器人Tay在上線不到24小時，就因為學(xué)習(xí)了大量充滿偏見和仇恨言論的數(shù)據(jù)而被迫下線。這一事件在一定程度上預(yù)見了Agentic AI在倫理道德方面的潛在缺陷和風(fēng)險。
Agentic AI通常需要訪問和處理大量敏感數(shù)據(jù)，這引發(fā)了嚴(yán)重的數(shù)據(jù)隱私和安全問題。
arXiv上的一篇論文指出，這種訪問權(quán)限帶來了重大風(fēng)險，包括未經(jīng)授權(quán)獲取敏感信息、潛在利用系統(tǒng)漏洞以及濫用個人或機密數(shù)據(jù)。人工智能系統(tǒng)的復(fù)雜性加上其處理和分析大量數(shù)據(jù)的能力，增加了數(shù)據(jù)泄露或被侵犯的可能性，這可能是無意中發(fā)生的，也可能是通過對抗性操縱造成的。此外，Agentic AI可能獲得更大的自主權(quán)，它們繞過或利用安全措施的能力成為一個日益嚴(yán)重的問題。
Agentic AI還面臨著被惡意操縱和利用的風(fēng)險。
Agentic AI系統(tǒng)可能通過及時注入或數(shù)據(jù)中毒（Data Poisoning）等技術(shù)被劫持，從而允許惡意行為者操縱他們的決策過程。這可能會導(dǎo)致在沒有人工監(jiān)督的情況下自主采取有害操作。數(shù)據(jù)中毒攻擊已經(jīng)在多個領(lǐng)域被證實可行，包括自動駕駛、人臉識別等。一旦Agentic AI被成功操縱，其自主性和連續(xù)學(xué)習(xí)能力可能被用于執(zhí)行惡意活動，帶來嚴(yán)重的網(wǎng)絡(luò)安全隱患。
Agentic AI的跨平臺部署和互聯(lián)互通也大大擴展了潛在的攻擊面。
隨著越來越多的AI代理被集成到關(guān)鍵基礎(chǔ)設(shè)施、物聯(lián)網(wǎng)設(shè)備和云服務(wù)中，網(wǎng)絡(luò)攻擊的切入點和傳播路徑也變得更加多樣化。一旦某個節(jié)點被攻破，整個AI生態(tài)系統(tǒng)都可能受到牽連，導(dǎo)致大規(guī)模的系統(tǒng)癱瘓和數(shù)據(jù)泄露。
Agentic AI帶來了新的合規(guī)性挑戰(zhàn)。
Agentic AI的使用在遵守數(shù)據(jù)保護(hù)法規(guī)方面（例如我國的數(shù)據(jù)安全法、個人信息保護(hù)法及歐盟的GDPR）提出了重大挑戰(zhàn)。確保這些系統(tǒng)遵守有關(guān)數(shù)據(jù)處理和用戶同意的法律要求可能很復(fù)雜。
如何應(yīng)對Agentic AI風(fēng)險？
面對Agentic AI所帶來的種種安全風(fēng)險和挑戰(zhàn)，組織和個人都需要采取積極主動的應(yīng)對措施。這些措施涵蓋了技術(shù)、管理、法律等多個層面，需要多方協(xié)同、持續(xù)改進(jìn)，方能構(gòu)建起全方位的防護(hù)體系。
建立健全的AI治理框架是應(yīng)對Agentic AI風(fēng)險的關(guān)鍵一環(huán)。
組織需要制定明確的政策和規(guī)范，規(guī)定AI系統(tǒng)的開發(fā)、部署和監(jiān)管流程，確保其在合法合規(guī)的前提下運行。同時，還要建立科技倫理委員會等專門機構(gòu)，負(fù)責(zé)審核AI系統(tǒng)的決策過程和結(jié)果，確保其符合倫理道德和社會價值觀。對于敏感領(lǐng)域和高風(fēng)險應(yīng)用，如醫(yī)療、金融等，還需要建立更為嚴(yán)格的準(zhǔn)入門檻和監(jiān)管機制。
持續(xù)的安全監(jiān)測和審計是控制Agentic AI風(fēng)險的有效手段。
組織應(yīng)該部署專門的安全監(jiān)控工具，建立全面的監(jiān)控系統(tǒng)，實時跟蹤AI系統(tǒng)的運行狀態(tài)、數(shù)據(jù)流向和決策過程，及時發(fā)現(xiàn)和響應(yīng)異常行為。同時，還要定期開展全面的安全審計，評估AI系統(tǒng)的脆弱性、合規(guī)性和風(fēng)險等級，并根據(jù)審計結(jié)果優(yōu)化完善相關(guān)的安全控制措施。
采用先進(jìn)的安全技術(shù)和架構(gòu)也是提升Agentic AI防御能力的重要途徑。
這包括應(yīng)用數(shù)據(jù)加密、訪問控制、身份認(rèn)證等基礎(chǔ)安全措施，保護(hù)敏感數(shù)據(jù)和關(guān)鍵資源不被非法訪問和竊取。同時，還可以利用區(qū)塊鏈、聯(lián)邦學(xué)習(xí)、差分隱私等新興技術(shù)，在保護(hù)數(shù)據(jù)隱私的前提下，實現(xiàn)多方安全協(xié)作和價值交換。
人機協(xié)同，保留人類監(jiān)督環(huán)（Human-in-the-Loop）是控制Agentic AI風(fēng)險的重要手段。
盡管Agentic AI擁有高度自主性，在關(guān)鍵決策過程中保持人工介入和監(jiān)督，以確保對主動型系統(tǒng)行為的問責(zé)和監(jiān)督。通過設(shè)置合理的人機交互節(jié)點和審核機制，可以及時糾正AI系統(tǒng)的錯誤決策，防止其做出危及人類安全和利益的行為。這種人機協(xié)同的模式不僅提高了AI系統(tǒng)的可解釋性和可控性，也為人類提供了必要的最終決策權(quán)。
提高全社會的AI安全意識和素養(yǎng)至關(guān)重要。
組織應(yīng)該加強對員工的AI安全教育和培訓(xùn)，普及AI風(fēng)險防范知識，提高員工的警惕性和應(yīng)變能力。同時，政府和教育機構(gòu)也應(yīng)該加大力度，在全社會范圍內(nèi)推廣AI倫理和安全教育，引導(dǎo)公眾正確認(rèn)識和使用AI技術(shù)，共同營造一個安全、健康、可信的AI生態(tài)環(huán)境。
Agentic AI將如何改變網(wǎng)安格局
隨著Agentic AI技術(shù)的快速發(fā)展和廣泛應(yīng)用，網(wǎng)絡(luò)安全的威脅形勢可能將發(fā)生深刻變化。Agentic AI所具有的自主性、適應(yīng)性和大規(guī)模部署能力，不僅為網(wǎng)絡(luò)攻防雙方提供了新的工具和手段，也對傳統(tǒng)的網(wǎng)絡(luò)安全格局和趨勢產(chǎn)生了重大影響。
Agentic AI將大大提升網(wǎng)絡(luò)攻擊的智能化水平和破壞力。
傳統(tǒng)的網(wǎng)絡(luò)攻擊通常依賴于預(yù)定義的規(guī)則和漏洞，其適應(yīng)性和靈活性有限。但是，裝備了Agentic AI的攻擊工具可以自主學(xué)習(xí)和進(jìn)化，根據(jù)目標(biāo)環(huán)境的特點動態(tài)調(diào)整攻擊策略，甚至發(fā)現(xiàn)并利用零日漏洞。同時，大量自主攻擊代理的協(xié)同作戰(zhàn)，也將使網(wǎng)絡(luò)攻擊的規(guī)模和烈度空前提升，給防御方帶來巨大壓力。
Agentic AI也為網(wǎng)絡(luò)防御帶來了新的機遇和挑戰(zhàn)。
一方面，智能化的AI防御系統(tǒng)可以實時監(jiān)測海量安全事件，自動化地識別和響應(yīng)各類威脅，大幅提升防御的效率和精度。另一方面，AI防御系統(tǒng)也可能成為攻擊者的重點目標(biāo)。一旦防御系統(tǒng)被攻陷或誤導(dǎo)，整個網(wǎng)絡(luò)的安全將面臨崩潰的危險。因此，如何確保AI防御系統(tǒng)自身的安全性和魯棒性，成為網(wǎng)絡(luò)安全領(lǐng)域的一大挑戰(zhàn)。
Agentic AI的大規(guī)模應(yīng)用也極大地擴展了網(wǎng)絡(luò)攻擊面。
隨著AI系統(tǒng)被廣泛集成到各類終端設(shè)備、應(yīng)用服務(wù)、云平臺之中，網(wǎng)絡(luò)攻擊的潛在切入點和傳播路徑也變得更加多樣化。特別是在物聯(lián)網(wǎng)、工業(yè)控制、自動駕駛等領(lǐng)域，AI系統(tǒng)的安全漏洞可能直接危及人身和財產(chǎn)安全。這對傳統(tǒng)的網(wǎng)絡(luò)邊界防護(hù)策略提出了嚴(yán)峻挑戰(zhàn)，需要重新審視和設(shè)計全新的縱深防御架構(gòu)。
Agentic AI的決策不透明性也引發(fā)了新的安全隱患。
由于AI系統(tǒng)的判斷過程通常難以解釋和審計，一旦出現(xiàn)錯誤或失控，其影響范圍和嚴(yán)重程度可能難以評估和控制。這不僅給企業(yè)的合規(guī)管理帶來困擾，也為監(jiān)管機構(gòu)的執(zhí)法工作增加了難度。因此，如何提高AI系統(tǒng)的可解釋性、可審計性和可問責(zé)性，成為網(wǎng)絡(luò)安全治理的重要課題。
Agentic AI的發(fā)展也對網(wǎng)絡(luò)安全人才提出了更高要求。
未來的安全專業(yè)人員不僅需要精通傳統(tǒng)的攻防技術(shù)，還要具備AI算法、大數(shù)據(jù)分析、行為建模等前沿技能，能夠深入理解AI系統(tǒng)的運作原理和安全風(fēng)險。同時，網(wǎng)絡(luò)安全團(tuán)隊也需要與AI開發(fā)團(tuán)隊緊密協(xié)作，在系統(tǒng)設(shè)計之初就融入安全和隱私保護(hù)理念，實現(xiàn)"內(nèi)生安全"。
面對洶涌而來的Agentic AI浪潮，企業(yè)和組織需要及時調(diào)整安全策略和防御架構(gòu)，全面評估和應(yīng)對AI帶來的新風(fēng)險和挑戰(zhàn)。同時，產(chǎn)學(xué)研各界也要加強協(xié)作，在AI安全基礎(chǔ)理論、關(guān)鍵技術(shù)、標(biāo)準(zhǔn)規(guī)范等方面取得突破，為網(wǎng)絡(luò)空間的可信、可控發(fā)展提供堅實保障。只有這樣，我們才能在享受AI紅利的同時，構(gòu)建起安全、健康、可持續(xù)的智能網(wǎng)絡(luò)生態(tài)。
