本文來自微信公眾號“GoUpSec”。
近日，因安全團隊核心人員離職而深陷信任危機的OpenAI發(fā)布了最新的安全報告，宣稱在過去三個月中挫敗了五個利用ChatGPT操控輿論的黑客組織APT行動（輿論黑客）。
OpenAI將操控輿論的影響力活動（IO）定義為“試圖以欺騙的方式操縱輿論或影響政治結果，而不揭露背后行為者的真實身份或意圖”。
在報告中，OpenAI宣稱成功識別并阻止了五起來自俄羅斯、伊朗和以色列等國的影響力行動，這些行動均利用了OpenAI的人工智能工具ChatGPT。
“輿論黑客”攻擊成效不及預期
輿論操控和內(nèi)容安全是人們最擔憂的兩大人工智能威脅，尤其是國家黑客組織利用ChatGPT-4o為代表的多模態(tài)大模型進行大規(guī)模的，跨平臺、跨國界的意識形態(tài)滲透和社交媒體輿論操控。
據(jù)OpenAI報告，這些“輿論黑客”行動主要利用人工智能生成大量社交媒體帖子和評論等文本內(nèi)容，同時還進行了一些輔助性的工作，例如通過調(diào)試代碼來提高生產(chǎn)力。
但是，根據(jù)布魯金斯突破量表(Brookings Breakout Scale)的評估，這些“輿論黑客”行動的評分均未超過2分，目前尚未取得顯著成效。
布魯金斯突破量表用1-6分來衡量影響力行動的影響范圍，其中1分表示僅限于單個社區(qū)或平臺，6分則意味著引發(fā)了政策干預或其他具體行動，例如暴力事件。2分意味著影響力行動跨越了單個平臺中的多個社區(qū)，或者影響了多個平臺中的單個社區(qū)。
五大輿論黑客攻擊活動
報告指出，雖然“輿論黑客”來自全球各地，但本質上卻非常相似，主要利用ChatGPT為多平臺生成多語言版本的內(nèi)容（賬戶、文章、評論、標簽等），以下為報告調(diào)查的五大“輿論黑客”行動：
“垃圾偽裝(Spamouflage)”。該行動利用OpenAI的工具進行代碼調(diào)試、社交媒體活動研究，并用多種語言在X平臺、Medium和Blogspot發(fā)布內(nèi)容。
俄羅斯的“語法錯誤(Bad Grammar)”。一個來自俄羅斯的新威脅組織，主要針對Telegram平臺的東歐和美國用戶。它也利用人工智能來調(diào)試用于運行Telegram機器人的代碼，并用英語和俄語生成Telegram上的政治評論。
俄羅斯的“變形金剛(Doppelganger)”。這個俄羅斯組織利用人工智能在X平臺和9GAG上用五種歐洲語言發(fā)布評論，生成標題，并將新聞文章翻譯、編輯并轉換成Facebook帖子。
伊朗的“國際虛擬媒體聯(lián)盟(IUVM)”。利用人工智能為其網(wǎng)站生成和翻譯文章、標題和網(wǎng)站標簽。
以色列的“零點禪(Zero Zeno)”行動。由位于特拉維夫的政治營銷和商業(yè)情報公司Stoic運營。Stoic利用OpenAI為Instagram、Facebook、X平臺和其他網(wǎng)站生成文章和評論。Meta公司最近在其“對抗性威脅報告”中也點名了Stoic。報告顯示，Meta刪除了與Stoic關聯(lián)的510個Facebook賬戶、32個Instagram賬戶、11個頁面和1個群組。Stoic的各個Instagram賬戶只有大約2000個關注者，F(xiàn)acebook頁面約有500個關注者，其Facebook群組的成員人數(shù)不足100人。
為了打擊人工智能的濫用，OpenAI在一份更詳細的報告中透露正在與傳媒、社交網(wǎng)站和科技行業(yè)合作伙伴合作，并利用輿論黑客的威脅活動來設計更安全的用戶平臺。該公司還表示正在“投資于技術和團隊，以識別和阻止惡意行為者，以及利用人工智能工具來幫助打擊濫用行為。”報告并未進一步詳細說明OpenAI采取了哪些具體措施來阻止和打擊惡意行為者，
輿論黑客的四大攻擊趨勢
OpenAI在報告中透露，根據(jù)自身調(diào)查以及開源社區(qū)的工作，發(fā)現(xiàn)輿論黑客使用（類似ChatGPT的）大語言模型進行的隱蔽宣傳活動呈現(xiàn)四大趨勢：
內(nèi)容生成：所有輿論黑客都利用OpenAI的服務生成大量文本（偶爾還包括圖像），并且語言錯誤比僅靠人工操作者要少得多。
融合新舊：所有這些行動都不同程度地使用了人工智能，但沒有一個行動只使用人工智能。相反，人工智能生成的內(nèi)容只是他們發(fā)布的眾多內(nèi)容類型之一，其他類型包括更傳統(tǒng)的形式，例如手動編寫的文本或從互聯(lián)網(wǎng)上復制的模因。
偽造參與度（人氣）：OpenAI瓦解的一些活動利用ChatGPT在社交媒體上營造用戶參與熱度的假象。例如，用人工智能生成內(nèi)容回復或評論自己的帖子。
提高效率：許多輿論黑客都嘗試利用ChatGPT來提高效率，例如總結社交媒體帖子或調(diào)試代碼。
輿論黑客的五大防御趨勢
OpenAI在報告中指出，雖然關于人工智能的潛在應用的討論的大多關注攻擊側，但是人工智能也為防御者提供了優(yōu)勢。例如人工智能技術大大提高了OpenAI的調(diào)查效率，以下為人工智能提高內(nèi)容安全防御能力的五大趨勢：
防御設計：OpenAI通過內(nèi)容安全系統(tǒng)給攻擊者制造麻煩，這也是OpenAI負責任地部署人工智能的方法。例如，OpenAI多次觀察到ChatGPT拒絕生成輿論黑客要求的文本或圖像。
人工智能增強調(diào)查：OpenAI基于此前使用GPT-4進行內(nèi)容審核和網(wǎng)絡防御的方法，又開發(fā)了新人工智能工具來提高（用戶會話內(nèi)容的）檢測和分析效率。得益于新的工具，此次報告的調(diào)查耗時僅數(shù)天，而不是數(shù)周或數(shù)月。隨著模型的改進，OpenAI將繼續(xù)利用其功能來改進調(diào)查。
分發(fā)很重要：與傳統(tǒng)的內(nèi)容形式一樣，人工智能生成的內(nèi)容也必須進行分發(fā)才能到達受眾。這些輿論操控行動在各種平臺上發(fā)布內(nèi)容，包括X、Telegram、Facebook、Medium、Blogspot和較小的論壇，但截至調(diào)查結束沒有一個活動成功吸引大量受眾。
行業(yè)共享的重要性：為了提高對輿論黑客行為的防御和反擊能力，OpenAI與業(yè)界同行分享了詳細的威脅指標。OpenAI自己的調(diào)查也受益于研究社區(qū)多年來的開源分析。
人為因素：人工智能可以改變?nèi)祟惒僮髡呤褂玫墓ぞ甙粫淖儾僮髡弑旧?。OpenAI的調(diào)查表明，攻擊者與前幾代人一樣容易犯人為錯誤。例如，（因為疏忽）將ChatGPT的拒絕消息發(fā)布在社交媒體和他們的網(wǎng)站上。雖然攻擊工具在不斷進化，但是黑客活動的運營和決策者的人性弱點和局限性并沒有變。
