一篇最新論文，再次引發(fā)人們對(duì)于谷歌、微軟以及亞馬遜所提供圖像識(shí)別服務(wù)的偏見擔(dān)憂。
男性總愛用外表來評(píng)判女性。事實(shí)證明，計(jì)算機(jī)也會(huì)如此。
當(dāng)美國(guó)及歐洲的研究人員向谷歌的云圖像識(shí)別服務(wù)展示國(guó)會(huì)議員照片時(shí)，該服務(wù)給女性照片添加的外貌標(biāo)簽達(dá)到男性照片的3倍。男性圖片中出現(xiàn)最多的標(biāo)簽是“官員”與“商人”；而在女性一邊，最常出現(xiàn)的則是“微笑”和“下巴”。
德國(guó)科恩GESIS萊布尼茨社會(huì)科學(xué)研究所博士后研究員Garsten Schwemmer表示，“這是一種對(duì)女性地位的刻板印象——男性代表商業(yè)領(lǐng)袖，女性則只需要漂亮即可。”他本人也參與了此項(xiàng)研究，項(xiàng)目組成員還包括來自紐約大學(xué)、美國(guó)大學(xué)、都柏林大學(xué)學(xué)院、密歇根大學(xué)以及非營(yíng)利性組織加州YIMBY的研究者。
研究人員對(duì)谷歌的人工智能圖像服務(wù)以及競(jìng)爭(zhēng)對(duì)手亞馬遜及微軟的方案進(jìn)行了機(jī)器視覺測(cè)試。各位外包測(cè)試人員負(fù)責(zé)評(píng)審這些服務(wù)，在觀察議員官方照片及其發(fā)布的推文圖片后做出的評(píng)判結(jié)論。
圖：谷歌AI圖像識(shí)別服務(wù)更傾向于將參議員Steve Daines視為商人，而對(duì)Lucille Roybal-Allard等女性議員則往往添加外觀標(biāo)簽。
AI服務(wù)當(dāng)然也能夠看到人類評(píng)審員在照片中看到的東西，但其更傾向于關(guān)注男性與女性之間的差異，特別是更多增加外表信息設(shè)定為女性特征。女議員通常被貼上“女生”及“美女”等標(biāo)簽。事實(shí)上，這些服務(wù)往往根本不會(huì)深挖女性對(duì)象的其他特征，而單純只做性別判斷；這一點(diǎn)與處理男性照片時(shí)，形成了強(qiáng)烈的反差。
這項(xiàng)研究進(jìn)一步增加了證據(jù)，即算法并不是真正從數(shù)學(xué)角度爬行世界，而更多是在復(fù)制甚至放大固有的文化偏見。2018年的Gender Shades項(xiàng)目早已得出過類似的結(jié)論，項(xiàng)目表明，微軟與IBM的AI云服務(wù)在識(shí)別白人男性方面非常準(zhǔn)確，但在識(shí)別黑人女性的性別時(shí)則準(zhǔn)確率低下。
在此次最新研究當(dāng)中，研究人員選擇了加利福尼亞州參議院10位男性與10位女性官員的照片，并表明當(dāng)初的結(jié)論仍然成立。
圖：亞馬遜的圖像處理服務(wù)Rekognition將包括共和黨人Ling Ling Chang在內(nèi)的多位加利福尼亞州女性參議員照片標(biāo)記為“女生”或“兒童”，但從未在男性議員照片上做出類似的標(biāo)記。
這20位議員在照片中都面帶微笑。從谷歌上出現(xiàn)頻率最高的標(biāo)簽來看，其只將一位男性標(biāo)記為“微笑”，但將七位女性標(biāo)記為“微笑”。
此外，谷歌的AI視覺服務(wù)將所有10位男性標(biāo)記為“商人”，通常還帶有“官員”或“白領(lǐng)”字樣；但在女性方面，只有5位女參議員獲得了一項(xiàng)或多項(xiàng)類似的標(biāo)記。女性照片獲得的外貌相關(guān)標(biāo)簽明顯更多，例如“皮膚”、“發(fā)型”、“脖子”等等，這些在男性照片中均未出現(xiàn)。
亞馬遜與微軟的服務(wù)似乎并沒有表現(xiàn)出明顯的偏見，但亞馬遜以高達(dá)99%的置信度認(rèn)定，其中2位女性參議員為“女生”或者“兒童”，而并未對(duì)任何男性照片做出誤判。微軟的服務(wù)正確確定了所有男性照片的性別，但只成功確定8位女性的性別；其將1位女性誤認(rèn)為男性，而最后1位女性則未被添加任何性別標(biāo)記。
谷歌在今年年初關(guān)閉了AI視覺服務(wù)中的性別檢測(cè)功能，表示無法單憑一個(gè)人的外貌推斷出性別。谷歌云部門AI執(zhí)行董事Tracy Frey表示，該公司始終致力于減少偏見，并歡迎外界各方的參與。她指出，“我們一直在努力變得更好，并不斷與外部利益相關(guān)方（例如學(xué)術(shù)研究人員）開展合作，希望在這一領(lǐng)域進(jìn)一步開展工作。”亞馬遜與微軟則拒絕對(duì)此發(fā)表評(píng)論，目前雙方的服務(wù)仍然只對(duì)性別做出二元判斷。
此次美國(guó)-歐洲聯(lián)合研究的靈感，源自當(dāng)初研究人員向谷歌視覺服務(wù)展示了一張屢獲殊榮的驚人照片。這張照片拍攝于得克薩斯州，其中一名蹣跚學(xué)步的洪都拉斯兒童，因母親被美國(guó)邊境巡邏官拘留，而痛哭流涕。谷歌的AI建議為其添加了包括“有趣”（置信度為77%）在內(nèi)的標(biāo)簽，甚至遠(yuǎn)高于“兒童”標(biāo)簽（置信度52%）。在周三將此照片上傳至谷歌服務(wù)后，實(shí)際結(jié)果也驗(yàn)證了這一說法。
Schwemmer和他的同事們開始使用谷歌服務(wù)，希望借此衡量人們?cè)诰W(wǎng)上使用圖像談?wù)撜螁栴}的方式。以此為基礎(chǔ)，他開始揭露視覺服務(wù)中的性別偏見問題，也由此確認(rèn)此項(xiàng)技術(shù)并未做好參與實(shí)際研究的準(zhǔn)備，甚至有可能給輕易信任此類服務(wù)的企業(yè)帶來慘重?fù)p失。他指出，“這可能會(huì)給用戶帶來完全錯(cuò)誤的圖像解讀結(jié)果。”以幫助企業(yè)整理員工影像集為例，過度從外貌角度評(píng)判女性只會(huì)令對(duì)方受到強(qiáng)烈的冒犯。
圖：當(dāng)這張圖片在2019年成為世界新聞雜志年度照片時(shí)，有人稱其中表達(dá)出了“心理暴力”的意象。但谷歌的圖像算法檢測(cè)則認(rèn)為其內(nèi)容“有趣”。
此前的研究發(fā)現(xiàn)，用于訓(xùn)練視覺算法的標(biāo)記照片等重要數(shù)據(jù)集，表現(xiàn)出明顯的性別偏見。例如，大部分?jǐn)?shù)據(jù)集，會(huì)展示女性烹飪與男性射擊的畫面。這種偏見的根源在于，研究人員通過在線方式廣泛收集圖像，而網(wǎng)絡(luò)上的照片往往是社會(huì)偏見的直接體現(xiàn)。而使用這些數(shù)據(jù)集訓(xùn)練而成的機(jī)器學(xué)習(xí)軟件，往往又會(huì)放大其中的偏見傾向。
Schwemmer認(rèn)為訓(xùn)練數(shù)據(jù)中的偏見，可能解釋了這項(xiàng)新興研究在各科技巨頭AI服務(wù)中出現(xiàn)的問題。但如果不全面探查其系統(tǒng)，仍無法得出最終結(jié)論。
近年來，診斷及修復(fù)AI系統(tǒng)中的缺陷與偏見/偏差已經(jīng)成為一大熱門研究議題。當(dāng)AI軟件將注意力集中在像素模式之上時(shí)，人們馬上意識(shí)到，其中的小小偏差都有可能引發(fā)巨大的認(rèn)知誤解。隨著算法在處理圖像方面變得越來越強(qiáng)，這個(gè)問題也顯然愈發(fā)緊迫。普林斯頓大學(xué)助理教授Olga Russakovsky表示，“現(xiàn)在，這類系統(tǒng)正部署在世界各地。因此，我們最好保證它們能夠正確完成工作，而不至于引發(fā)出乎意料的后果。”
圖：此次研究與測(cè)試發(fā)現(xiàn)，谷歌的圖像識(shí)別服務(wù)會(huì)給加利福尼亞州參議員Cathleen Galgiani等女性添加與其外貌相關(guān)的標(biāo)簽；但卻給她的同事Jim Beall等男性議員添加“商人”及“長(zhǎng)者”等身份標(biāo)簽。
解決這個(gè)問題的一種重要方法，在于努力改進(jìn)訓(xùn)練數(shù)據(jù)，從根本上扭轉(zhuǎn)機(jī)器學(xué)習(xí)系統(tǒng)的偏見/偏差傾向。在普林斯頓大學(xué)的相關(guān)項(xiàng)目中，Russakovsky正努力開發(fā)一款名為REVISE的工具，用于自動(dòng)標(biāo)記出圖像集內(nèi)存在的某些偏見元素，包括與地理及性別相關(guān)的元素。
當(dāng)研究人員將該工具應(yīng)用于由谷歌維護(hù)的Open Images中的900萬張圖像時(shí)，他們發(fā)現(xiàn)，系統(tǒng)更容易在戶外及運(yùn)動(dòng)場(chǎng)景下標(biāo)記出男性（女性的標(biāo)記概率明顯更低）。而“運(yùn)動(dòng)服”標(biāo)簽對(duì)應(yīng)的男性往往身在戶外，而對(duì)應(yīng)的女性則大多在室內(nèi)進(jìn)行籃球或游泳等運(yùn)動(dòng)。
谷歌及其AI領(lǐng)域各競(jìng)爭(zhēng)對(duì)手本身也在積極研究AI公平性與偏見問題。其中包括建立標(biāo)準(zhǔn)化方法以將AI軟件及數(shù)據(jù)集的局限性和內(nèi)容，準(zhǔn)確傳達(dá)給開發(fā)人員（類似于AI模型版本的「食品營(yíng)養(yǎng)表」）。
谷歌還開發(fā)出一種名為“模型卡”的格式，并為其云視覺服務(wù)的人臉及物體識(shí)別組件發(fā)布了相應(yīng)卡。其模型卡宣稱，谷歌的人臉識(shí)別軟件在不同性別對(duì)象上的工作原理大致相同，但并未提及其他可能引發(fā)AI性別偏見的因素。
