本文來自微信公眾號“學(xué)術(shù)頭條”，編譯|阮文韻。
【編者按】“Sam Altman對安全的關(guān)心遠不如對利潤的關(guān)注，我認(rèn)為這是不幸的。”新晉諾貝爾物理學(xué)獎得主、圖靈獎得主、“AI教父”Geoffrey Hinton在采訪中再次強調(diào)了其對AI安全問題強烈的憂患意識。
不久前，Hinton與另兩位圖靈獎得主Yoshua Bengio、姚期智以及其他幾十位科學(xué)家共同簽署了一封公開信，稱“‘災(zāi)難性結(jié)果’隨時可能發(fā)生，需將AI安全視為全球公共產(chǎn)品”。
圖｜從左至右依次為Stuart Russell、Andrew Yao（姚期智）、Yoshua Bengio、Zhang Ya-Qin（張亞勤）
OpenAI聯(lián)合創(chuàng)始人、前首席科學(xué)家Ilya Sutskever的“宮斗”和離職事件，以及歐盟《人工智能法案》正式生效、聯(lián)合國會員國通過《全球數(shù)字契約》等等，已成為人工智能乃至整個科技行業(yè)的焦點新聞，不斷引發(fā)對AI監(jiān)管的廣泛需求。
“AI教母”、斯坦福大學(xué)首位紅杉講席教授李飛飛則認(rèn)為，過于武斷的AI政策將損害學(xué)術(shù)界和開源社區(qū)，“AI政策必須鼓勵創(chuàng)新，設(shè)定適當(dāng)?shù)南拗?，并減輕這些限制的影響。”
當(dāng)前，相關(guān)監(jiān)管政策在一定程度上鼓勵了開源模型在透明度和創(chuàng)新性上的做法，但這也讓人不禁擔(dān)心：能力越來越強的開源模型，會幫助不法分子更容易地“作惡”，危害人身和社會安全。
然而，業(yè)內(nèi)也存在不同的觀點。
Mistral AI聯(lián)合創(chuàng)始人兼首席執(zhí)行官Arthur Mensch在《時代》雜志專訪中就曾表示，“開源模型沒有任何風(fēng)險，我只看到了好處。”
那么問題來了，相比于閉源模型，開源模型真的更不安全嗎？難道開源模型存在的安全問題，閉源模型就沒有嗎？
今天，斯坦福大學(xué)基礎(chǔ)模型研究中心主任Percy Liang、研究員Rishi Bommasani等10位高校學(xué)者，在權(quán)威科學(xué)期刊Science上刊文：Considerations for governing open foundation models，詳細探討了開源模型的“三個”優(yōu)勢、“六個”風(fēng)險和“三個”潛在不利影響。
圖｜斯坦福大學(xué)基礎(chǔ)模型研究中心主任Percy Liang
他們表示，開源基礎(chǔ)模型在推動科技創(chuàng)新、促進競爭和權(quán)力分配方面具有巨大潛力，在透明度和可定制性上相比閉源模型具有優(yōu)勢，但由于模型發(fā)布后開發(fā)者無法控制其下游使用，容易被惡意用戶利用。因此，如何在推動創(chuàng)新的同時，平衡對AI系統(tǒng)的監(jiān)管成為一個關(guān)鍵挑戰(zhàn)。
他們也提到，不同的政策建議可能會對創(chuàng)新生態(tài)系統(tǒng)產(chǎn)生不均衡的影響，并呼吁世界各國制定更明確且有效的政策，平衡開源與閉源基礎(chǔ)模型的發(fā)展，從而促進創(chuàng)新的同時有效管理其潛在的社會風(fēng)險。
其他核心觀點如下：
- 沒有實證證據(jù)表明，開源軟件比閉源軟件更容易受到攻擊或不安全。
- 閉源基礎(chǔ)模型可能增大開發(fā)者手中的權(quán)力，而這種權(quán)力集中對數(shù)字技術(shù)市場的風(fēng)險是公認(rèn)的，應(yīng)當(dāng)受到更嚴(yán)密的審視。
- 總體而言，開源基礎(chǔ)模型更加可定制，并提供更深的訪問權(quán)限，這些是促進更大創(chuàng)新的關(guān)鍵要素。
- 在某些情況下，透明性不僅依賴于模型權(quán)重的發(fā)布，還包括其他工件的公開。例如，披露訓(xùn)練數(shù)據(jù)和代碼有助于可重復(fù)性。
- 迄今為止，他們尚未發(fā)現(xiàn)開源基礎(chǔ)模型增加社會對虛假信息宣傳敏感性的實證證據(jù)。
- 關(guān)于開源語言模型的擔(dān)憂可能被誤導(dǎo)，專用的生物設(shè)計工具反而可能在發(fā)現(xiàn)危險病原體方面提供更大的幫助作用。
- 與之前的自動化漏洞檢測工具一樣，開源模型的廣泛使用，加上公司和政府對發(fā)現(xiàn)安全漏洞的工具的投資，可能會加強網(wǎng)絡(luò)安全。
- 開源基礎(chǔ)模型開發(fā)者無法控制他們的模型如何被修改或用于生成內(nèi)容。
- 世界各國政府正在制定的政策設(shè)計和實施應(yīng)當(dāng)同時考慮開源和閉源基礎(chǔ)模型開發(fā)者的需求。
學(xué)術(shù)頭條在不改變原文大意的情況下，做了簡單的編譯。內(nèi)容如下：
GPT-4、Llama 3.1等基礎(chǔ)模型，已成為人工智能（AI）技術(shù)創(chuàng)新的核心，吸引了數(shù)十億美元的投資。這引發(fā)了對監(jiān)管的廣泛需求。關(guān)于如何監(jiān)管基礎(chǔ)模型的辯論，關(guān)鍵在于這些模型的發(fā)布方式——是僅向開發(fā)者提供，還是完全公開，或者介于兩者之間。
開源基礎(chǔ)模型可以通過促進競爭、加速創(chuàng)新等方式來造福社會。然而，日益增長的擔(dān)憂是，開源基礎(chǔ)模型是否對社會構(gòu)成獨特風(fēng)險。總的來說，盡管大多數(shù)政策提案和法規(guī)沒有明確提到開源基礎(chǔ)模型，它們可能會對開源和閉源基礎(chǔ)模型產(chǎn)生不均衡的影響。
我們將展示不同政策提案之間的緊張關(guān)系，政策制定者應(yīng)在考慮時注意這些政策可能對開源基礎(chǔ)模型創(chuàng)新生態(tài)系統(tǒng)產(chǎn)生的不利影響。
基礎(chǔ)模型的發(fā)布方式具有多維性：不同的資產(chǎn)（如訓(xùn)練數(shù)據(jù)、代碼和模型權(quán)重）可以向特定實體或公眾公開。開發(fā)者在模型發(fā)布的各個層級上有多種選擇。我們使用“開源基礎(chǔ)模型”這一術(shù)語來指代那些權(quán)重廣泛可用的基礎(chǔ)模型，這在今天通常意味著權(quán)重是免費提供的。這與2023年美國《安全、可信賴和可靠的人工智能開發(fā)與使用執(zhí)行命令》中所作的區(qū)分一致。這只是各國政府對基礎(chǔ)模型（包括開源模型）給予關(guān)注的一個例子。在歐盟《人工智能法案》（AI Act）下，使用不到10^25次浮點操作（計算消耗的一種度量）訓(xùn)練的開源基礎(chǔ)模型免于許多要求。英國AI安全研究所則將“開源系統(tǒng)以及使用各種訪問控制部署的系統(tǒng)”作為優(yōu)先事項。
圍繞開源基礎(chǔ)模型的許多擔(dān)憂源于，模型權(quán)重一旦發(fā)布，開發(fā)者便失去了對其下游使用的控制。即使開發(fā)者試圖限制下游的使用，這些限制也可能被惡意用戶無視。相比之下，面對惡意使用，閉源基礎(chǔ)模型的開發(fā)者可以限制訪問。需要強調(diào)的是，這種分類區(qū)分可能會過于簡化模型發(fā)布的層級：閉源模型同樣容易遭受惡意使用，現(xiàn)有的保護措施可能會被繞過。
開源基礎(chǔ)模型類似于但不同于開源軟件。機器學(xué)習(xí)模型不僅依賴代碼，還依賴數(shù)據(jù)集，這使得它們與大多數(shù)軟件有本質(zhì)上的區(qū)別。開源軟件倡議的標(biāo)準(zhǔn)定義禁止對特定用戶或使用案例施加限制，而開源基礎(chǔ)模型通常包含這些限制；例如，Meta限制擁有超過7億月活躍用戶的實體使用Llama 3.1模型，而其他組織則使用具有使用限制的開源和負(fù)責(zé)AI許可。這些差異導(dǎo)致一些人聲稱，領(lǐng)先的AI公司在進行“開源洗白”（openwashing）——提供模型權(quán)重但不遵循開源軟件的原則。
盡管如此，開源軟件的歷史為如何治理開源基礎(chǔ)模型提供了見解。沒有實證證據(jù)表明，開源軟件比閉源軟件更容易受到攻擊或不安全。同時，開源軟件驗證了開放技術(shù)對社會的巨大好處，例如通過刺激經(jīng)濟效益、支持關(guān)鍵基礎(chǔ)設(shè)施、促進重用性、魯棒性、透明性和協(xié)作，并通過持續(xù)廣泛的同行評審來提高可靠性和安全性。
開源模型的優(yōu)勢
我們強調(diào)了開源基礎(chǔ)模型在三大社會目標(biāo)中提供的明顯優(yōu)勢：
1.更好的權(quán)力分配
隨著基礎(chǔ)模型影響力的不斷增長，它們創(chuàng)造了新的社會經(jīng)濟權(quán)力形式，因此必須評估這些權(quán)力如何分配。閉源模型開發(fā)者在定義和限制他們認(rèn)為不可接受的使用案例方面擁有更大的權(quán)力，而開源模型的下游用戶可以更好地自行做出這些決策。此外，閉源模型開發(fā)者可能通過垂直整合更加直接地影響下游市場，可能導(dǎo)致許多下游產(chǎn)品和/或服務(wù)依賴于同一個基礎(chǔ)模型的壟斷格局。總體而言，閉源基礎(chǔ)模型可能增大開發(fā)者手中的權(quán)力，而這種權(quán)力集中對數(shù)字技術(shù)市場的風(fēng)險是公認(rèn)的，應(yīng)當(dāng)受到更嚴(yán)密的審視。
2.促進創(chuàng)新
基礎(chǔ)模型是一種通用技術(shù)，能夠大幅提高創(chuàng)新速度。值得注意的是，基礎(chǔ)模型提高了經(jīng)濟和科學(xué)生產(chǎn)力，Bloomberg Intelligence預(yù)計生成式AI將在2032年成為一個1.3萬億美元的市場。開源基礎(chǔ)模型對于研究若干課題是必要的，如可解釋性、水印技術(shù)、安全性和效率等?？傮w而言，開源基礎(chǔ)模型更加可定制，并提供更深的訪問權(quán)限，這些是促進更大創(chuàng)新的關(guān)鍵要素。
3.確保透明性
基礎(chǔ)模型等數(shù)字技術(shù)因其不透明性而受到困擾。開發(fā)者提供足夠的透明度對于實現(xiàn)許多目標(biāo)至關(guān)重要：民間社會、政府、行業(yè)和學(xué)術(shù)界都呼吁提高透明度。透明性不僅僅在于模型訓(xùn)練和發(fā)布的角度，還包括下游細節(jié)，比如報告模型的使用情況?；A(chǔ)模型透明度指數(shù)顯示，主要的開源基礎(chǔ)模型開發(fā)者相比閉源模型開發(fā)者，平均透明度更高。這種透明性可以幫助避免過去因數(shù)字技術(shù)不透明而造成的危害。在某些情況下，透明性不僅依賴于模型權(quán)重的發(fā)布，還包括其他工件的公開。例如，披露訓(xùn)練數(shù)據(jù)和代碼有助于可重復(fù)性。
開源模型的風(fēng)險
關(guān)于開源基礎(chǔ)模型風(fēng)險的政策焦點大多來自于它們可能被惡意使用的潛力。在此，我們探討了一系列誤用威脅載體，以更好地描述每個領(lǐng)域的證據(jù)狀態(tài)。正確表征開源基礎(chǔ)模型的獨特風(fēng)險需要聚焦“邊際風(fēng)險”：開源基礎(chǔ)模型相較于閉源基礎(chǔ)模型或現(xiàn)有技術(shù)（如搜索引擎）在多大程度上增加了風(fēng)險？Kapoor等人提供了一個分析開源基礎(chǔ)模型邊際風(fēng)險的框架。對于許多威脅載體，現(xiàn)有的邊際風(fēng)險證據(jù)有限。這并不意味著開源基礎(chǔ)模型在這些載體上沒有風(fēng)險，而是需要更嚴(yán)格的分析來證實政策干預(yù)的必要性。盡管有人可能會基于預(yù)防原則提出監(jiān)管，但缺乏邊際風(fēng)險的證據(jù)表明，在實施大幅加重開源基礎(chǔ)模型開發(fā)者負(fù)擔(dān)的政策時應(yīng)謹(jǐn)慎一些。
1.虛假信息
基礎(chǔ)模型可能降低生成有說服力的虛假信息的成本。盡管閉源基礎(chǔ)模型提供者在鼓勵模型拒絕生成虛假信息請求方面具有更好的條件，但“什么是虛假信息”這一問題的模糊性使得這種拒絕的技術(shù)可行性受到質(zhì)疑。更根本的問題是，影響操作的關(guān)鍵瓶頸不在于虛假信息的生成，而在于虛假信息的傳播：“廉價仿制品”，如過去事件的視頻、經(jīng)過Photoshop處理的圖片、發(fā)生在另一個背景下的事件，甚至是電子游戲片段，已經(jīng)被用于傳播虛假信息?？刂苾?nèi)容傳播的在線平臺比基礎(chǔ)模型開發(fā)者更應(yīng)成為政策干預(yù)的目標(biāo)。迄今為止，我們尚未發(fā)現(xiàn)開源基礎(chǔ)模型增加社會對虛假信息宣傳敏感性的實證證據(jù)。
2.生物風(fēng)險
有幾項研究聲稱，開源基礎(chǔ)模型可以為用戶提供如何制造生物武器的指導(dǎo)。然而，證據(jù)仍然薄弱。有些研究表明，當(dāng)今的語言模型可以提供與生物武器相關(guān)的“危險”信息，但這些信息在其他來源也同樣可以獲得。當(dāng)這些研究將語言模型與互聯(lián)網(wǎng)訪問進行比較時，發(fā)現(xiàn)使用語言模型尋找生物武器相關(guān)信息并沒有顯著優(yōu)勢。因此，關(guān)于開源語言模型的擔(dān)憂可能被誤導(dǎo)，專用的生物設(shè)計工具反而可能在發(fā)現(xiàn)危險病原體方面提供更大的幫助作用。除了敏感信息之外，生物風(fēng)險還需要病原體的合成和在現(xiàn)實世界中的傳播。每個步驟都需要大量的專業(yè)知識、設(shè)備和實驗室經(jīng)驗。與其他威脅向量一樣，最有效的政策干預(yù)點可能在下游。例如，美國的《AI行政命令》旨在加強對生物序列購買者的客戶篩選。
3.網(wǎng)絡(luò)安全
雖然開源代碼模型可能加快和提高網(wǎng)絡(luò)攻擊的速度和質(zhì)量，但網(wǎng)絡(luò)防御也會隨之改進。例如，谷歌最近展示了代碼模型在檢測開源軟件漏洞方面的顯著進步。與之前的自動化漏洞檢測工具一樣，開源模型的廣泛使用，加上公司和政府對發(fā)現(xiàn)安全漏洞的工具的投資，可能會加強網(wǎng)絡(luò)安全。開源模型可以在本地使用和定制（例如，通過微調(diào)），允許組織在隱私敏感的環(huán)境中使用它們。
4.魚叉式網(wǎng)絡(luò)釣魚詐騙
基礎(chǔ)模型可以生成高質(zhì)量的魚叉式網(wǎng)絡(luò)釣魚郵件，試圖誘使受害者提供敏感信息、匯款或下載惡意軟件。無論是開源還是閉源模型都可以用于此，因為使魚叉式網(wǎng)絡(luò)釣魚郵件危險的關(guān)鍵因素在于隨附的惡意軟件；郵件文本本身通常是無害的。與虛假信息類似，魚叉式網(wǎng)絡(luò)釣魚的關(guān)鍵瓶頸通常不是郵件的文本，而是下游的防護措施：現(xiàn)代操作系統(tǒng)、瀏覽器和電子郵件服務(wù)實現(xiàn)了多層次的保護，以防此類惡意軟件。由于這些現(xiàn)有的保護措施，釣魚郵件可能根本無法到達目標(biāo)接收者。
5.語音克隆詐騙
語音克隆詐騙是指惡意用戶冒充受害者的朋友或家人，試圖說服他們轉(zhuǎn)賬。這類詐騙可能依賴基礎(chǔ)模型，這些模型可以基于幾秒鐘的音頻（例如，來自社交媒體賬戶的音頻）克隆某人的聲音。到目前為止，尚不清楚語音克隆詐騙是否比傳統(tǒng)詐騙更有效或更具可擴展性，尤其是每年已經(jīng)報告了數(shù)以萬計的傳統(tǒng)詐騙案件。目前尚無法確定閉源模型開發(fā)者是否能夠成功阻止此類詐騙，但他們可以通過要求用戶使用信用卡注冊、追蹤生成的音頻回溯至特定用戶等措施，提供一定的威懾作用。
6.NCII和CSAM
開源的文本到圖像模型可能會帶來與NCII和CSAM相關(guān)的獨特風(fēng)險，因為它們降低了生成此類內(nèi)容的門檻。對于此類問題，閉源模型的安全防護更加有效，且通過監(jiān)控閉源模型，可以阻止用戶生成此類影像，尤其是涉及真實人物的影像。開源文本到圖像模型已經(jīng)被用于生成NCII和CSAM。Thiel發(fā)現(xiàn)，一個用于訓(xùn)練開源文本到圖像模型的知名數(shù)據(jù)集包含大量的CSAM，這指向了上游干預(yù)措施（如過濾訓(xùn)練數(shù)據(jù)）來降低這種風(fēng)險。是否對打擊AI生成的NCII和CSAM的政策干預(yù)更多地針對下游平臺（如Civit AI和社交媒體公司）仍然是一個未解的問題。專門打擊NCII和CSAM的組織可能會受益于更多資源和支持，以應(yīng)對AI生成的CSAM。
潛在的不利影響
隨著各國針對基礎(chǔ)模型的政策努力推進，我們探討了現(xiàn)有政策舉措如何影響開源基礎(chǔ)模型。具體而言，它們可能對開源基礎(chǔ)模型開發(fā)者施加更大的合規(guī)負(fù)擔(dān)，而這些開發(fā)者往往比閉源開發(fā)者更缺乏資源，而閉源開發(fā)者通常是大型AI公司，這些公司幾乎都是閉源開發(fā)者。
1.下游使用的責(zé)任
由于開源和閉源基礎(chǔ)模型的區(qū)分是基于發(fā)布模式的，任何對基礎(chǔ)模型的某些使用施加處罰的政策可能產(chǎn)生不同的影響。一些提案（如在加利福尼亞州參議院提出的SB 1047法案和美國參議院提出的美國AI法案框架）對基礎(chǔ)模型的下游使用（包括微調(diào)后的衍生模型）施加了責(zé)任。這些提案旨在引入針對發(fā)布不安全模型的處罰，這些模型在潛在修改后可能會催生惡意使用。然而，對于這些下游危害的責(zé)任可能會抑制開源基礎(chǔ)模型的生態(tài)系統(tǒng)，因其暴露了開源基礎(chǔ)模型開發(fā)者面臨的嚴(yán)重責(zé)任風(fēng)險。相比之下，由于閉源基礎(chǔ)模型開發(fā)者對下游使用有更大的控制力，某些開發(fā)者已經(jīng)為下游用戶提供了責(zé)任保護（例如，谷歌為其生成式AI產(chǎn)品的用戶提供版權(quán)索賠的免責(zé)）。雖然明確或增加下游使用責(zé)任可能具有一定的益處，但這些立法提案為開源基礎(chǔ)模型開發(fā)者揭示了廣泛且難以控制的責(zé)任面。
2.下游使用的內(nèi)容溯源
鑒于基礎(chǔ)模型最顯著的應(yīng)用是生成式AI系統(tǒng)，社會對內(nèi)容溯源技術(shù)（如水印技術(shù)）的需求日益增加，以檢測機器生成的內(nèi)容。內(nèi)容溯源可以幫助追蹤或管理AI生成的內(nèi)容，如深度偽造、CSAM和NCII。然而，與責(zé)任類似，如果基礎(chǔ)模型開發(fā)者必須確保下游使用的內(nèi)容溯源，那么這些要求對開源基礎(chǔ)模型開發(fā)者來說可能在技術(shù)上難以實現(xiàn)。
然而，今天的語言模型水印技術(shù)在模型被修改（例如微調(diào)）后不會繼續(xù)保留，且需要模型用戶遵循某些協(xié)議才能保證水印有效。根本上，開源基礎(chǔ)模型開發(fā)者無法控制他們的模型如何被修改或用于生成內(nèi)容。
3.開源數(shù)據(jù)的責(zé)任
盡管基礎(chǔ)模型不要求公開用于構(gòu)建模型的基礎(chǔ)數(shù)據(jù)，但有些開發(fā)者選擇公開模型權(quán)重和訓(xùn)練數(shù)據(jù)。在2023年的基礎(chǔ)模型透明度指數(shù)評估的10個主要基礎(chǔ)模型開發(fā)者中，兩個開發(fā)者公開了數(shù)據(jù)，并同時公開了基礎(chǔ)模型。其他一些開源基礎(chǔ)模型開發(fā)者通常也公開數(shù)據(jù)。然而，數(shù)據(jù)的開源發(fā)布使這些實體面臨更大的責(zé)任風(fēng)險，例如Stability AI因使用來自非營利組織大型人工智能開放網(wǎng)絡(luò)（LAION）的數(shù)據(jù)集而面臨的訴訟，這些數(shù)據(jù)集據(jù)稱包含了原告的作品。盡管在許多司法管轄區(qū)內(nèi)，使用受版權(quán)保護的數(shù)據(jù)訓(xùn)練基礎(chǔ)模型的合法性尚不明確，但現(xiàn)狀導(dǎo)致了不正當(dāng)?shù)募顧C制。即，透明公開數(shù)據(jù)的開發(fā)者比隱藏數(shù)據(jù)的開發(fā)者面臨更大的風(fēng)險，即使底層事實是相同的?？紤]到這種不正當(dāng)激勵，在某些情況下，政府強制披露訓(xùn)練數(shù)據(jù)可能是有益的。
結(jié)論
世界各國政府正在制定的政策設(shè)計和實施應(yīng)當(dāng)同時考慮開源和閉源基礎(chǔ)模型開發(fā)者的需求。政策如果直接涉及開源基礎(chǔ)模型，應(yīng)該仔細考慮如何定義這些模型及其開發(fā)者。僅僅以“開放權(quán)重”作為政策依據(jù)可能并不合適，尤其是考慮到模型發(fā)布的不同層次。而且，即使政策并未直接涉及開源基礎(chǔ)模型，它們也可能產(chǎn)生負(fù)面影響。因此，如果政策制定者希望實施這些政策，他們應(yīng)該直接咨詢開源基礎(chǔ)模型社區(qū)，并適當(dāng)考慮其利益。
原文鏈接：
www.science.org/doi/10.1126/science.adp1848
