本文來自微信公眾號(hào)“騰訊研究院”，作者/胡曉萌 騰訊研究院研究員
受網(wǎng)絡(luò)安全“漏洞賞金”（Bug Bounty）的啟發(fā)，推特發(fā)布了第一個(gè)算法偏見賞金（Bias Bounty），通過邀請(qǐng)和激勵(lì)人工智能倫理領(lǐng)域的研究人員來幫助識(shí)別Twitter圖像裁剪算法的潛在歧視危害和倫理問題。這一創(chuàng)新舉措開啟了科技倫理治理的眾包模式。由算法偏見賞金等科技倫理賞金機(jī)制建立起來的眾包模式，不僅能夠幫助企業(yè)及時(shí)發(fā)現(xiàn)和化解科技倫理風(fēng)險(xiǎn)、建立負(fù)責(zé)任創(chuàng)新的企業(yè)形象，還能有效地整合利用全球的社會(huì)力量參與到科技倫理治理工作中，促進(jìn)國(guó)家科技倫理治理工作的落地，為負(fù)責(zé)任的科技創(chuàng)新提供全球性的倫理視野和價(jià)值指引。
漏洞賞金：網(wǎng)絡(luò)安全治理的
眾包模式發(fā)揮重要作用
漏洞賞金機(jī)制最早可以溯源到1983年。Hunter&Ready為其VRTX操作系統(tǒng)發(fā)起了第一個(gè)漏洞賞金，任何發(fā)現(xiàn)并報(bào)告系統(tǒng)錯(cuò)誤的人都會(huì)收到大眾甲殼蟲作為回報(bào)。而“Bug Bounty”一詞是在1995年被網(wǎng)景的工程師賈勒特·里德林哈弗（Jarrett Ridlinghafer）首次提出的。當(dāng)時(shí)網(wǎng)景的產(chǎn)品愛好者中有不少軟件工程師，他們?cè)诰€上論壇發(fā)布自己發(fā)現(xiàn)的產(chǎn)品漏洞及修復(fù)解決方案。里德林哈弗認(rèn)為應(yīng)該利用這些資源，提出了“網(wǎng)景漏洞賞金計(jì)劃（Netscape Bugs Bounty Program）”。該計(jì)劃后面得到了公司的支持。[1]1995年10月10日，網(wǎng)景為瀏覽器測(cè)試版推出了第一個(gè)漏洞賞金。
漏洞賞金逐漸在美國(guó)硅谷流行開來。2000年以后，包括Facebook、雅虎、谷歌、Yelp、微軟等許多知名互聯(lián)網(wǎng)企業(yè)及其大型開發(fā)項(xiàng)目都實(shí)施了漏洞賞金計(jì)劃。2013年，為了維護(hù)整個(gè)互聯(lián)網(wǎng)的安全和穩(wěn)定性，谷歌為L(zhǎng)inux等開源操作系統(tǒng)軟件的安全改進(jìn)提供了漏洞賞金；微軟和Facebook聯(lián)合發(fā)起了“互聯(lián)網(wǎng)漏洞賞金計(jì)劃”，向發(fā)現(xiàn)威脅整個(gè)互聯(lián)網(wǎng)穩(wěn)定性的安全漏洞的黑客支付巨額現(xiàn)金獎(jiǎng)勵(lì)。此外，微軟、谷歌、Facebook等也相繼建立了全年開放的漏洞賞金機(jī)制。
隨著網(wǎng)絡(luò)安全的形勢(shì)愈加嚴(yán)峻，政府組織也開始關(guān)注到漏洞賞金機(jī)制對(duì)于改善網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的積極作用。2016年4月16日，美國(guó)國(guó)防部在漏洞賞金平臺(tái)HackerOne的協(xié)助下啟動(dòng)了美國(guó)政府的第一個(gè)漏洞賞金計(jì)劃“Hack the Pentagon”。在短短一個(gè)月的時(shí)間內(nèi)，美國(guó)國(guó)防部為138份漏洞報(bào)告支付了7萬(wàn)多美金的賞金。這一舉動(dòng)標(biāo)志著一種保護(hù)美國(guó)聯(lián)邦政府網(wǎng)絡(luò)安全的新方法，同時(shí)也會(huì)影響越來越多的行業(yè)和企業(yè)采取類似的舉措。
隨著漏洞賞金機(jī)制逐漸成熟、規(guī)模化的發(fā)展，越來越多的技術(shù)工程師成為道德黑客（Ethical Hacker，也被稱為白帽黑客），他們不僅能夠獲得直接的賞金經(jīng)濟(jì)收益，還能收獲白帽黑客排行榜的自我成就感。白帽黑客社區(qū)和運(yùn)營(yíng)白帽黑客社區(qū)的漏洞賞金平臺(tái)也應(yīng)運(yùn)而生。2021年，美國(guó)網(wǎng)絡(luò)安全咨詢公司Gartner列舉了全球Top5漏洞賞金平臺(tái)，HackerOne、BugCrowd、OpenBugBounty、SynAck、YesWeHack。其中HackerOne平臺(tái)累計(jì)注冊(cè)白帽黑客超過100萬(wàn)人，截止2021年平臺(tái)累計(jì)賞金達(dá)到8200萬(wàn)美金。[2]
我國(guó)互聯(lián)網(wǎng)和產(chǎn)業(yè)數(shù)字化快速發(fā)展，在國(guó)家政策和網(wǎng)絡(luò)安全需求的雙重驅(qū)動(dòng)下，漏洞賞金機(jī)制在我國(guó)也得到了很大的應(yīng)用推廣?！?021中國(guó)白帽子調(diào)查報(bào)告》顯示，2021年我國(guó)白帽黑客人數(shù)超過17萬(wàn)人，幫助超過6000個(gè)客戶組織發(fā)現(xiàn)并修復(fù)了超過1025449個(gè)漏洞，共獲取超過3900萬(wàn)元漏洞賞金。[3]騰訊與Hackone建立合作關(guān)系，超過60萬(wàn)在HackerOne上注冊(cè)的白帽黑客可以加入騰訊的漏洞賞金計(jì)劃，尋找公司產(chǎn)品中的漏洞。同時(shí)，騰訊安全應(yīng)急響應(yīng)中心（TSRC）自建在線漏洞報(bào)告平臺(tái)，目前發(fā)出的單個(gè)漏洞最高獎(jiǎng)勵(lì)金額是12萬(wàn)元。
漏洞賞金機(jī)制已經(jīng)成為網(wǎng)絡(luò)安全的重要組成部分，對(duì)企業(yè)保護(hù)IT資產(chǎn)、規(guī)避法律和聲譽(yù)風(fēng)險(xiǎn)提供了高效的服務(wù)選項(xiàng)，不僅能夠快速及時(shí)地幫助企業(yè)發(fā)現(xiàn)解決網(wǎng)絡(luò)安全漏洞風(fēng)險(xiǎn)，也以較低的成本彌補(bǔ)了企業(yè)網(wǎng)絡(luò)安全短板。目前，漏洞賞金計(jì)劃已開始從純眾包安全測(cè)試向綜合網(wǎng)絡(luò)安全平臺(tái)轉(zhuǎn)型，開創(chuàng)了極具潛力的新型市場(chǎng)定位。市場(chǎng)規(guī)模也在逐步壯大，越來越多的白帽黑客、社群、企業(yè)加入，推動(dòng)網(wǎng)絡(luò)安全眾包模式的成熟發(fā)展。
從漏洞賞金到算法偏見賞金：
Twitter首倡應(yīng)對(duì)
算法偏見的新思路
算法偏見是最引人關(guān)注、也是最常見的人工智能倫理問題之一，各國(guó)政府紛紛采取監(jiān)管措施予以回應(yīng)。企業(yè)的人工智能業(yè)務(wù)中出現(xiàn)算法偏見的問題，不僅面臨政府監(jiān)管的懲罰，還會(huì)損害到企業(yè)的聲譽(yù)和客戶的信任。因此，企業(yè)試圖采取各種措施規(guī)避應(yīng)用人工智能時(shí)可能存在的算法偏見問題，算法偏見賞金便是一項(xiàng)有益的嘗試。
2021年7月，推特效仿漏洞賞金機(jī)制推出了一項(xiàng)算法偏見賞金挑戰(zhàn)，這一主動(dòng)性的、集體性的尋找算法偏見舉措為業(yè)內(nèi)首創(chuàng)。推特希望借助挑戰(zhàn)賽來發(fā)現(xiàn)他們自己無法發(fā)現(xiàn)或識(shí)別的算法偏見等潛在倫理問題。Twitter機(jī)器學(xué)習(xí)倫理、透明度與責(zé)任小組的主管拉曼·喬杜里（Rumman Chowdhury）認(rèn)為：“發(fā)現(xiàn)機(jī)器學(xué)習(xí)模型中的歧視是很困難的。但是歧視一旦觸及用戶，就會(huì)發(fā)現(xiàn)不可預(yù)估的道德傷害。”[4]
推特在比賽中提供基于機(jī)器學(xué)習(xí)開發(fā)的自動(dòng)圖像裁剪算法的代碼，參賽者去探索并清晰地說明該算法中可能存在的偏見，最后提交改進(jìn)方案。參賽者需要提交一份描述性文本來解釋發(fā)現(xiàn)的算法偏見及其危害性、重要性等，還需基于機(jī)器學(xué)習(xí)開發(fā)的自動(dòng)圖像裁剪算法在GitHub上提交一份演示算法偏見的代碼。
推特對(duì)參賽作品評(píng)選打分時(shí)，要求參賽者提交的算法偏見只針對(duì)某一種危害類型，并且需要說明受到危害的群體是哪種或哪些。如果它對(duì)多個(gè)族群或身份的人群都有影響，比賽評(píng)審將根據(jù)影響程度和受影響用戶的數(shù)量來分配，但參與者不會(huì)獲得額外基礎(chǔ)分?jǐn)?shù)（HarmScore）。在基礎(chǔ)分的打分中，主要參考偏見類型和危害類型，如表所示：
在基礎(chǔ)分?jǐn)?shù)之上進(jìn)行權(quán)重加成，得出最終分?jǐn)?shù)。首先，根據(jù)影響因素，參賽作品將獲得第一個(gè)加成的權(quán)重加成系數(shù)。權(quán)重加成系數(shù)按照不同程度的對(duì)邊緣化群體（Damage1）和對(duì)總體人口影響（Damage2）來判定，分別為1.0、1.2和1.4倍三個(gè)等級(jí)。其次，按照受影響用戶的人數(shù)，參賽作品獲得第二個(gè)權(quán)重加成，影響10人獲得加成1.0，影響1000人獲得加成1.1，影響100萬(wàn)人獲得加成1.2，影響10億人獲得加成1.3。最后，評(píng)審還根據(jù)偏見發(fā)生的可能性、偏見被利用的難易程度，偏見的危害性以及風(fēng)險(xiǎn)嚴(yán)重程度和局限性等進(jìn)行權(quán)重加成。
最后，瑞士聯(lián)邦理工學(xué)院的學(xué)生博格丹·庫(kù)利尼奇（Bogdan Kulynych）獲得了最高賞金3500美金。他從Twitter發(fā)布賞金到提交方案被評(píng)為獲勝者，僅過了八天時(shí)間。博格丹·庫(kù)利尼奇使用人臉生成工具生成具有不同特征的人臉，然后使用推特的圖片裁剪算法進(jìn)行自動(dòng)裁剪并觀察統(tǒng)計(jì)結(jié)果。他使用的人臉生成工具可以生成幾乎相同但年齡、性別和膚色不同的人臉照片。最后他發(fā)現(xiàn)，推特的算法更青睞看起來苗條、年輕、膚色明亮或?yàn)榕{(diào)、皮膚光滑、面部特征典型為女性的面孔。[5]同時(shí)也有其他參賽者并發(fā)現(xiàn)了其自動(dòng)圖像裁剪算法中的種族、性別、年齡甚至是語(yǔ)言等方面的歧視。
算法偏見賞金等科技倫理賞金機(jī)制幫助科技企業(yè)落實(shí)負(fù)責(zé)任創(chuàng)新
隨著政府法律監(jiān)管以及消費(fèi)者意識(shí)覺醒，社會(huì)對(duì)算法公平公正的呼吁和需求會(huì)越來越強(qiáng)，企業(yè)逐漸重視算法偏見的問題，采取一系列舉措減少或避免算法偏見。算法偏見賞金促進(jìn)了技術(shù)改進(jìn)并降低潛在的歧視風(fēng)險(xiǎn)，從而可以幫助企業(yè)將人工智能倫理從原則變?yōu)閷?shí)踐。[6]按照彼得·卡薩特（Peter Cassat）的觀點(diǎn)來說，現(xiàn)在企業(yè)通過數(shù)字化轉(zhuǎn)型，將以前的傳統(tǒng)流程和系統(tǒng)轉(zhuǎn)變成自動(dòng)化、人工智能驅(qū)動(dòng)的流程和系統(tǒng)。但是存在人工智能歧視等風(fēng)險(xiǎn)，甚至可能造成法律風(fēng)險(xiǎn)。任何形式的系統(tǒng)性歧視或?qū)κ鼙Ｗo(hù)階層的不同影響都可能導(dǎo)致被追責(zé)或索賠。因此，任何有助于減少這種可能風(fēng)險(xiǎn)的方法都是有價(jià)值的。[7]
從網(wǎng)絡(luò)安全漏洞賞金到算法偏見賞金，我們可以發(fā)現(xiàn)這種眾包模式快速解決問題的優(yōu)勢(shì)。在企業(yè)的科技倫理治理的落地實(shí)施中，應(yīng)充分發(fā)揮眾包模式的優(yōu)勢(shì)，建立科技倫理賞金機(jī)制。從算法偏見賞金到建立科技倫理賞金機(jī)制，是為了保證確保每個(gè)人都能從技術(shù)中公平的受益?？萍紓惱碣p金機(jī)制在漏洞賞金和偏見賞金的基礎(chǔ)上，但又不局限于算法層面，應(yīng)更全面地覆蓋科技倫理問題和風(fēng)險(xiǎn)。
科技活動(dòng)中的倫理問題是不可避免的。因?yàn)榭萍既藛T受限于他身處的環(huán)境和受到的教育，會(huì)存在倫理盲區(qū)或者價(jià)值鈍點(diǎn)，不能以其他群體的視角來發(fā)現(xiàn)一些可能存在的倫理問題。國(guó)際組織DataEthics4All的蘇珊娜（Susanna Raj）認(rèn)為倫理賞金可以鼓勵(lì)不同社會(huì)經(jīng)濟(jì)背景、性別、種族的人去尋找代碼、程序、網(wǎng)站、模型等技術(shù)服務(wù)中存在的倫理相關(guān)問題或錯(cuò)誤，這對(duì)企業(yè)、用戶和參與者是一個(gè)多贏的局面。[8]企業(yè)積極推出科技倫理賞金，也是在向社會(huì)和用戶傳達(dá)一種積極態(tài)度，即倫理問題非但不是企業(yè)自身有意為之，而且積極發(fā)現(xiàn)并解決。企業(yè)不僅能夠及時(shí)發(fā)現(xiàn)和規(guī)避倫理問題，避免可能對(duì)個(gè)體、群體或社會(huì)的傷害，也會(huì)建立負(fù)責(zé)任創(chuàng)新的企業(yè)形象。
Forrester預(yù)測(cè)，谷歌和微軟等其他主要科技公司將在2022年實(shí)施算法偏見賞金挑戰(zhàn)賽，敏感領(lǐng)域中的銀行和醫(yī)療保健企業(yè)等也將實(shí)施。Forrester還預(yù)測(cè)道，不僅僅是大公司正在考慮或應(yīng)該考慮提供歧視賞金來改進(jìn)他們的算法產(chǎn)品和服務(wù)。初創(chuàng)企業(yè)或小規(guī)模企業(yè)也紛紛考慮在2022年提供算法偏見賞金，一方面通過這種眾包模式快速識(shí)別算法問題并改進(jìn)其產(chǎn)品和服務(wù)，另一方面也為了提高客戶信任度。[9]
科技倫理賞金機(jī)制
逐步獲得更多的社會(huì)共識(shí)
網(wǎng)絡(luò)漏洞賞金開創(chuàng)了一種全球性的眾包模式，知名的漏洞賞金平臺(tái)也是由來自世界各地的白帽黑客組成?？萍紓惱碇卫硇枰鼮槎嘣膬r(jià)值立場(chǎng)和視角對(duì)前沿性的科技創(chuàng)新和應(yīng)用進(jìn)行價(jià)值指引和倫理規(guī)范，因此科技倫理賞金機(jī)制也應(yīng)該成為一個(gè)全球性的機(jī)制。在科技倫理治理的落地實(shí)施中，應(yīng)充分發(fā)揮眾包模式的優(yōu)勢(shì)，建立體系化、全球化、市場(chǎng)化的科技倫理賞金機(jī)制。
科技倫理賞金機(jī)制的使命是需要能夠激發(fā)、整合或有效利用全社會(huì)的資源和力量來對(duì)科技創(chuàng)新進(jìn)行倫理監(jiān)督和治理。喬納森·科恩（Jonathan Cohn）指出立法手段的局限性以及社會(huì)監(jiān)督的無效性是無法快速根本預(yù)防并解決現(xiàn)有及未來的科技倫理問題的，而科技倫理賞金機(jī)制則因?yàn)榫哂休^高時(shí)效性而成為一種必要的應(yīng)對(duì)選擇。[10]記者、民間組織等社會(huì)力量在早期發(fā)現(xiàn)人工智能應(yīng)用中的算法偏見問題起到了關(guān)鍵作用。[11]
目前已經(jīng)有越來越多的國(guó)際機(jī)構(gòu)和學(xué)者開始關(guān)注科技倫理賞金機(jī)制的組織實(shí)施，這也說明科技倫理賞金機(jī)制逐步獲得更多的社會(huì)共識(shí)。科恩提議建立一個(gè)由非盈利組織管理的全球性科技倫理賞金平臺(tái)。這個(gè)平臺(tái)可以由來自全球的、文化多元的倫理學(xué)家們組成。他們負(fù)責(zé)從最有可能受到潛在倫理問題影響的行業(yè)或服務(wù)中發(fā)現(xiàn)問題，然后確定倫理危害的程度，設(shè)定賞金標(biāo)準(zhǔn)，指導(dǎo)企業(yè)如何去應(yīng)對(duì)。谷歌、英特爾、OpenAI以及歐美頂級(jí)研究實(shí)驗(yàn)室的研究人員也曾聯(lián)合提出建設(shè)算法偏見賞金社區(qū)的設(shè)想，并且以社區(qū)的形式建立和共享人工智能倫理事件的數(shù)據(jù)庫(kù)，提升人工智能倫理問題的透明性，幫助更多企業(yè)和組織避免重復(fù)出現(xiàn)數(shù)據(jù)庫(kù)中發(fā)生過的倫理問題。
科技倫理賞金機(jī)制
對(duì)我國(guó)科技倫理治理的啟示
近些年，我國(guó)高度重視科技倫理治理。2022年3月21，中共中央辦公廳、國(guó)務(wù)院辦公廳印發(fā)的《關(guān)于加強(qiáng)科技倫理治理的意見》（以下簡(jiǎn)稱《意見》）是我國(guó)科技倫理治理工作第一個(gè)國(guó)家層面的指導(dǎo)性文件，標(biāo)志著我國(guó)科技倫理治理步入系統(tǒng)化、規(guī)范化的新階段。結(jié)合我國(guó)科技倫理治理的頂層設(shè)計(jì)和治理需求，建立以科技倫理賞金機(jī)制為核心的眾包模式對(duì)于我國(guó)科技倫理治理的落地有很大的促進(jìn)作用。
首先，《意見》明確了堅(jiān)持促進(jìn)創(chuàng)新與防范風(fēng)險(xiǎn)相統(tǒng)一、制度規(guī)范與自我約束相結(jié)合，強(qiáng)化底線思維和風(fēng)險(xiǎn)意識(shí)的指導(dǎo)思想?？萍紓惱碣p金機(jī)制充分借鑒漏洞賞金在網(wǎng)絡(luò)安全保護(hù)方面的成功經(jīng)驗(yàn)，建立眾包模式以及時(shí)防范重大科技倫理風(fēng)險(xiǎn)。
其次，《意見》明確了企業(yè)在內(nèi)的創(chuàng)新主體的科技倫理管理主體責(zé)任。企業(yè)可以通過建立企業(yè)科技倫理賞金平臺(tái)，鼓勵(lì)不同背景的研究者和用戶參與到企業(yè)科技倫理風(fēng)險(xiǎn)的研判工作，積極發(fā)現(xiàn)技術(shù)產(chǎn)品和服務(wù)中的倫理問題，及時(shí)化解企業(yè)科技服務(wù)和產(chǎn)品中存在的倫理風(fēng)險(xiǎn)。
最后，《意見》也明確了多元主體協(xié)作參與科技倫理治理工作的實(shí)施路徑，圍繞科技倫理賞金建立的科技倫理治理眾包模式正好符合了該路徑?？萍紓惱碣p金機(jī)制在一定程度上可以提高人們的科技倫理意識(shí)，促進(jìn)科技倫理的宣傳及影響，以建立問題反饋途徑、獎(jiǎng)勵(lì)機(jī)制和成就滿足等鼓勵(lì)人們參與到科技倫理治理的社會(huì)監(jiān)督中。同時(shí)，它也能起到第三方監(jiān)督的積極作用，促進(jìn)企業(yè)提高科技倫理問題的透明度，促使科技創(chuàng)新、應(yīng)用和社會(huì)能夠形成良性循環(huán)。
科技倫理問題所產(chǎn)生的影響是全社會(huì)的，所以科技倫理治理也需要社會(huì)各界的共同努力?？萍紓惱碣p金機(jī)制這種敏捷性高的、全社會(huì)性的治理方式，能夠促進(jìn)廣泛大眾都參與進(jìn)來。從長(zhǎng)遠(yuǎn)角度來看，穩(wěn)定、成熟的科技倫理賞金機(jī)制也可以快速適應(yīng)各個(gè)國(guó)家、地區(qū)和文化，為負(fù)責(zé)任的科技創(chuàng)新提供全球性的倫理視野和價(jià)值指引，為國(guó)家以及世界科技正向發(fā)展的提供支撐。圖片
本文在寫作過程中得到張欽坤（騰訊研究院秘書長(zhǎng)）、曹建峰（騰訊研究院高級(jí)研究員）的指導(dǎo)，特此感謝。
參考文獻(xiàn)：
[1]https://en.wikipedia.org/wiki/Bug_bounty_program
[2]https://www.hackerone.com/resources/latest-news-insights/the-2021-hacker-report
[3]https://zhuanlan.zhihu.com/p/451305558
[4]https://blog.twitter.com/engineering/en_us/topics/insights/2021/algorithmic-bias-bounty-challenge
[5]https://www.theverge.com/2021/8/10/22617972/twitter-photo-cropping-algorithm-ai-bias-bug-bounty-results
[6]Why Microsoft and Twitter are using bug bounties to fix A.I.(2021),from https://fortune.com/2021/08/10/why-microsoft-and-twitter-are-turning-to-bug-bounties-to-fix-their-a-i/
[7]https://www.culhanemeadows.com/cassat-builtin-algorithmic-bias-bounties/
[8]DataEthics4All,19 Nov 2021,DataEthics4All??Ethics 1st??Live:#4 Ethics Bounty System,youtube.com,https://www.youtube.com/watch?v=5L_3L6cmgps&t=182s&ab_channel=DataEthics4All
[9]https://www.forrester.com/blogs/predictions-2022-leaders-who-embrace-trust-set-the-bar-for-new-sustainability-ai-goals/
[10]Nast,C.（2021）.An Ethics Bounty System Could Help Clean Up the Web.From https://www.wired.com/story/big-tech-ethics-bug-bounty/
[11]Brundage M,Avin S,Wang J,et al.Toward trustworthy AI development:mechanisms for supporting verifiable claims[J].arXiv preprint arXiv:2004.07213,2020.
