本文來自微信公眾號“安全牛”。
在迅速發(fā)展的人工智能（AI）領域，研究人員關注的焦點正由ChatGPT等大語言模型工具轉向下一個前沿領域——AI代理（Agentic AI）。相比目前的大語言模型應用，AI代理技術更加智能化，可以在基本不需要人工干預的情況下完成復雜任務，以之前難以想象的方式進行主動學習、適應和協(xié)作。而在網(wǎng)絡安全領域，AI代理技術的廣泛應用或將徹底改變網(wǎng)絡攻防博弈間的游戲規(guī)則。
什么是AI代理？
在最初的大語言模型中，通常是在一次響應中生成對提示的響應。例如，我們可能會請一個LLM（大型語言模型）來幫助撰寫一篇文章或報告，它會一次性生成完整的草稿。但這種方法往往缺乏深度和精細度。這種形式也被稱為零投提示（Zero Shot Prompting）——因為它試圖在第一次投籃就“命中籃筐”，并在不重復的情況下獲得一個好的結果。
事實證明，和人類一樣，大語言模型很難通過一次或有限的交互就帶來完美的結果。因此，OpenAI公司以聊天的形式創(chuàng)建了GPT3/4模型，這使得我們可以圍繞相同主題進行附加提問迭代，包括給出評論，將問題劃分為多個子問題，并要求模型執(zhí)行自我反思等。
相比之下，AI代理技術旨在形成一種主動式、自動化的任務執(zhí)行工作流，就像人工分階段處理一個項目一樣。通過生成最優(yōu)化的代理流程，AI系統(tǒng)可以分多個步驟草擬、審查、修改和改善輸出，從而獲得更精細和更優(yōu)質(zhì)的結果。
在今年初舉辦的紅杉資本AI Ascent大會上，人工智能技術先驅、Google Brain聯(lián)合創(chuàng)始人Andrew Ng博士發(fā)表了一場富有遠見的主題分享，探討了AI代理技術的深遠影響和巨大發(fā)展?jié)摿?。他表示：通過AI代理所形成代理工作流，是一種涉及AI模型不斷改進輸出的迭代流程，這將徹底顛覆傳統(tǒng)的靜態(tài)AI交互方式。
在這種代理工作流中，有四個關鍵設計模式：
結果反思：AI模型需要對每次輸出的結果進行反思，并確定需要改進的方面。比如說，生成代碼的AI可以檢查代碼的正確性和效率，然后根據(jù)自我批評改進代碼。
規(guī)劃和多代理協(xié)作：多個AI模型需要協(xié)同工作，每個模型司職不同的任務。比如說，一個AI生成代碼，另一個AI審查和優(yōu)化代碼。
工具使用：AI模型使用外部工具來增強其功能，比如代碼生成工具或獲取額外信息的web搜索工具。
多對多使用：結合不同的AI模型（每個模型各有所長），以協(xié)同完成復雜的任務。
Andrew Ng認為，通過AI代理所形成的工作流將顯著增強現(xiàn)有AI技術（模型）的應用能力，實現(xiàn)更精細的迭代過程。這種方法有望在包括網(wǎng)絡安全在內(nèi)的各種應用領域充分釋放大語言模型和AI系統(tǒng)的應用潛力。
AI代理對網(wǎng)絡安全的影響
研究人員認為，通過AI代理，可以讓大模型工具的交互迭代過程更具協(xié)作性和適應性，因此非常適合在網(wǎng)絡安全等復雜領域中應用。在某種意義上，AI代理可以被看作是一個自主運行的智能化網(wǎng)絡安全系統(tǒng)，能夠在無人干預的情況下做出安全決策并采取威脅處置行動。它的能力相當于一個技術嫻熟、經(jīng)驗豐富的安全專家團隊，而且不需要睡覺和休息，能夠不間斷地尋找和處置威脅。
不妨設想智能家居系統(tǒng)的工作原理。智能恒溫器可以了解你的日常生活，根據(jù)你的喜好調(diào)整溫度，并可以檢測到不尋常的活動變化，比如溫度突然下降（可能表明窗戶開著）。同樣，在網(wǎng)絡安全防御背景下，AI代理可以使用類似的流程來開發(fā)和優(yōu)化完善安全防護措施。比如說，AI代理可以持續(xù)監(jiān)控網(wǎng)絡流量、檢測異常，并更新安全規(guī)程，以實時防御新的威脅。
目前，研究人員Richard Fang、Rohan Bindu、Akui Gupta和Daniel Kang已證明，GPT-4之類的大語言模型（LLM）可以自動利用1-day漏洞。研究小組在研究中針對15個實際的漏洞數(shù)據(jù)集測試了GPT-4。GPT-4成功利用了其中87%的漏洞，明顯勝過其他工具。這項研究強調(diào)了我們迫切需要采取積極主動的網(wǎng)絡安全措施，因為AI利用漏洞方面的潛力構成了新的重大威脅。定期更新和及時部署安全補丁對于減輕這些風險至關重要。
面對上述挑戰(zhàn)，AI代理可以在沒有人干預的情況下建立不斷探索、學習和適應的網(wǎng)絡安全防護體系。這也正是Project Voyager在游戲《我的世界》中所做的一切。
來自加州理工學院、斯坦福大學、得克薩斯大學和英偉達的研究人員共同開發(fā)了Voyager，這是目前第一個為開放式環(huán)境中終身學習而設計的AI代理實驗。Voyager由三大部分組成：追求探索的自動課程、存儲復雜行為的技能庫以及基于反饋改進性能的迭代提示機制。當Voyager負責建造村莊的非玩家控制角色（NPC）用完了附近的樹木去砍木頭時，一個有趣的場景出現(xiàn)了，那些基于AI的NPC并非寸步難行，而是開始尋找解決辦法。他們決定搬到鄰近的村莊，趕走原居民，并用他們房子里的木頭繼續(xù)建造村莊。
這個實驗展示AI在創(chuàng)造能夠終身學習和適應的自主代理方面具有巨大潛力。無論是在游戲、機器人還是網(wǎng)絡安全領域，這種代理不斷學習和進化的能力為創(chuàng)新和解決問題開辟了新的前景。
結語
毋庸置疑，AI代理在網(wǎng)絡安全領域將具有深遠的影響，可以用來模擬攻擊、識別漏洞，并自主制定防御策略。這將徹底改變我們對待網(wǎng)絡安全防御的方式。然而，AI代理也讓我們更接近實現(xiàn)AI在某些方面超越人類智能的可能，如何負責任地開發(fā)這些技術并確保它們安全可靠地用于造福社會就顯得至關重要。
