作者|Ben Dickson
譯者|馬可薇
策劃|凌敏
深度學(xué)習(xí)模型在其百萬乃至千萬的參數(shù)幫助下，可以做到許多事情，如檢測(cè)圖片中的物體、識(shí)別語(yǔ)音、生成文字，甚至是隱藏惡意軟件。加州大學(xué)圣地亞哥分校和伊利諾伊大學(xué)的研究人員發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)可以在不觸發(fā)殺毒軟件的情況下嵌入惡意負(fù)載。
深度學(xué)習(xí)中的這一安全隱患，最初由該論文所開發(fā)的惡意軟件隱匿技術(shù)EvilModel所提出，現(xiàn)在已成為各類機(jī)器學(xué)習(xí)和網(wǎng)絡(luò)安全大會(huì)上的熱門討論話題。隨著深度學(xué)習(xí)逐漸與我們的日常生活不可分離，我們應(yīng)開始思考如何采用新的手段，保護(hù)用戶免受這類新興威脅的困擾。
隱匿于深度學(xué)習(xí)模型中的惡意軟件
深度學(xué)習(xí)模型都是由多層人工神經(jīng)元組成，而根據(jù)層的類型，每個(gè)神經(jīng)元會(huì)與其上下層中的部分或全部的神經(jīng)元有所連接。根據(jù)深度學(xué)習(xí)模型在針對(duì)任務(wù)訓(xùn)練時(shí)使用的參數(shù)數(shù)值不同，神經(jīng)元間連接的強(qiáng)度也會(huì)不同，大型的神經(jīng)網(wǎng)絡(luò)甚至可以擁有數(shù)億乃至數(shù)十億的參數(shù)。
EvilModel的工作流，該技術(shù)可以將惡意軟件隱藏在神經(jīng)網(wǎng)絡(luò)之中
EvilModel背后的主要邏輯是將惡意軟件嵌入到神經(jīng)網(wǎng)絡(luò)的參數(shù)中，使其避過殺毒軟件的掃描。這是隱寫術(shù)的一種形式，即將信息隱藏于另一條信息之中。而攜帶惡意病毒的神經(jīng)模型還必須在它的本職工作上（比如圖像分類）做到和正常模型一樣好，才可能避免被懷疑或因?yàn)閷?duì)受害者無用而被拋棄。最后，黑客還需要有一個(gè)可以將受感染的模型傳輸?shù)侥繕?biāo)設(shè)備的機(jī)制，并從模型參數(shù)中提取出惡意軟件本體。
更改參數(shù)值
多數(shù)深度學(xué)習(xí)模型都會(huì)使用32位（4個(gè)字節(jié)）的浮點(diǎn)數(shù)來存儲(chǔ)參數(shù)值。據(jù)研究者實(shí)驗(yàn)，黑客可以在不顯著提升其中數(shù)值的前提下，每個(gè)參數(shù)中存儲(chǔ)最多存儲(chǔ)3字節(jié)的病毒。
神經(jīng)網(wǎng)絡(luò)中的所有參數(shù)都是存儲(chǔ)在4字節(jié)的浮點(diǎn)數(shù)中。根據(jù)研究，在不顯著提升其數(shù)值的前提下，最多有三字節(jié)可用于嵌入惡意代碼。
在污染深度學(xué)習(xí)模型時(shí)，黑客會(huì)將病毒打散至3字節(jié)，并將數(shù)據(jù)嵌入到模型的參數(shù)之中。至于傳輸病毒至目標(biāo)的手段，黑客可以將感染后的模型發(fā)布至GitHub或TorchHub等任意托管神經(jīng)模型的網(wǎng)站。還有一種手段是通過更復(fù)雜的供應(yīng)鏈攻擊，讓目標(biāo)設(shè)備上軟件的自動(dòng)更新來傳播受感染的模型。
一旦受感染后的模型傳到受害者的設(shè)備中，只需要一個(gè)小軟件就可提取并執(zhí)行負(fù)載。
隱藏惡意軟件于卷積神經(jīng)網(wǎng)絡(luò)之中
為驗(yàn)證EvilModel的可行性，研究人員在多個(gè)卷積神經(jīng)網(wǎng)絡(luò)（CNN）中進(jìn)行了測(cè)試。CNN是個(gè)很好的測(cè)試環(huán)境，原因有很多：首先，CNN的體積都很大，通常會(huì)有幾十層和數(shù)百萬的參數(shù)；其次，CNN包含各類架構(gòu)，有不同類型的層（全連接層、卷積層）、不同的泛化技術(shù)（批歸一化、棄權(quán)、池化等等），這些多樣化讓評(píng)估各類病毒嵌入設(shè)定變得可能；第三，CNN通常用于計(jì)算機(jī)視覺類的應(yīng)用，這些都是惡意因素的主要攻擊對(duì)象；最后，很多經(jīng)過預(yù)訓(xùn)練的CNN可以在不經(jīng)任何改動(dòng)的情況下直接集成到新的應(yīng)用程序中，而多數(shù)在應(yīng)用中使用預(yù)訓(xùn)練CNN的開發(fā)人員并不一定知道深度學(xué)習(xí)的具體應(yīng)用原理。
研究人員首先嘗試進(jìn)行病毒嵌入的神經(jīng)網(wǎng)路是AlexNet，一款曾在2012年重新激起人們對(duì)深度學(xué)習(xí)興趣的流行軟件，擁有178兆字節(jié)、五個(gè)卷積層和三個(gè)密集層或全連接層。
AlexNet卷積神經(jīng)網(wǎng)絡(luò)（CNN）
在用批歸一化（Batch Normalization，一種先分組標(biāo)準(zhǔn)化訓(xùn)練樣本，再進(jìn)入深度模型訓(xùn)練的技術(shù)）訓(xùn)練AlexNet時(shí)，研究者們成功將26.8 M的惡意軟件嵌入到了模型之中，并同時(shí)確保了其與正常模型預(yù)測(cè)的準(zhǔn)確率相差不超過百分之一。但如果增加惡意軟件的數(shù)據(jù)量，污染后模型的準(zhǔn)確率將大幅下降。
下一步的實(shí)驗(yàn)是重新訓(xùn)練感染后模型。通過凍結(jié)受感染神經(jīng)元避免其在額外訓(xùn)練周期中被修改，再加上批歸一法和重訓(xùn)練，研究人員成功將惡意病毒的數(shù)據(jù)量提升至36.9MB，并同時(shí)保證了模型的準(zhǔn)確率在百分之九十以上。
左：感染病毒后，神經(jīng)網(wǎng)絡(luò)中層數(shù)越多保留的準(zhǔn)確率越高。右：批歸一化和重訓(xùn)練后會(huì)提升感染模型的準(zhǔn)確率
研究中實(shí)驗(yàn)用的八個(gè)樣本病毒都是可以被線上病毒掃描網(wǎng)站VirusTotal識(shí)別為惡意軟件的，一旦這些病毒樣本成功嵌入神經(jīng)網(wǎng)絡(luò)，研究人員就會(huì)將模型上傳至VirusTotal中進(jìn)行掃描。而病毒掃描結(jié)果卻顯示這些模型“安全”，意味著惡意軟件的偽裝并未暴露。
研究人員又在其他幾個(gè)CNN架構(gòu)上進(jìn)行了相同的實(shí)驗(yàn)，這些CNN包括VGG、ResNet、Inception，以及Mobilenet。實(shí)驗(yàn)結(jié)果類似，惡意軟件都未被成功檢測(cè)。這些隱匿的惡意軟件將會(huì)是所有大型神經(jīng)網(wǎng)絡(luò)都需要面對(duì)的威脅。
保護(hù)機(jī)器學(xué)習(xí)管道
考慮到潛藏在深度學(xué)習(xí)模型中的惡意負(fù)載可以避過病毒掃描的檢測(cè)，對(duì)抗EvilModel的唯一手段恐怕就只有直接銷毀病毒本身了。
這類病毒只有在所有字節(jié)都完好無損才能保證感染成功。因此，如果收到EvilModel的受害者可以在不凍結(jié)受感染層的情況下重新訓(xùn)練模型，改變參數(shù)數(shù)值，便可讓病毒數(shù)據(jù)直接被銷毀。這樣，即使只有一輪的訓(xùn)練也足以摧毀任何隱藏在深度學(xué)習(xí)模型中的惡意病毒。
然而事實(shí)卻是，除非他們想要針對(duì)其他應(yīng)用做更細(xì)致的調(diào)整，多數(shù)的開發(fā)者會(huì)在下載預(yù)訓(xùn)練的模型后直接投入使用。而很多的細(xì)調(diào)都會(huì)凍結(jié)網(wǎng)絡(luò)中絕大多數(shù)的層，這些層里很大可能包含了受感染的那些。
這就意味著，除了對(duì)抗攻擊，數(shù)據(jù)中毒、成員推理等其他已知的安全問題之外，受惡意軟件感染的神經(jīng)網(wǎng)絡(luò)也將成為深度學(xué)習(xí)的未來中真正的威脅之一。
對(duì)抗性機(jī)器學(xué)習(xí)模型的威脅矩陣，展示了機(jī)器學(xué)習(xí)管道中的弱點(diǎn)所在
機(jī)器學(xué)習(xí)模型與經(jīng)典的、基于規(guī)則的軟件之間的差別意味著我們需要新的方法來應(yīng)對(duì)安全威脅。2021年上半年的時(shí)候，不少組織都提出了對(duì)抗性機(jī)器學(xué)習(xí)威脅矩陣，一個(gè)可協(xié)助開發(fā)者們發(fā)現(xiàn)機(jī)器學(xué)習(xí)管道弱點(diǎn)并修補(bǔ)安全漏洞的框架。
雖然威脅矩陣更側(cè)重于對(duì)抗性攻擊，但其所提出的方法也適用于EvilModels等威脅。在研究人員找到更可靠的手段來檢測(cè)并阻止深度學(xué)習(xí)網(wǎng)絡(luò)中的惡意軟件之前，我們必須確立機(jī)器學(xué)習(xí)管道中的信任鏈。既然病毒掃描和其他靜態(tài)分析工具無法檢測(cè)到受感染模型，開發(fā)者們必須確保他們所使用的模型是來自可信任的渠道，并且訓(xùn)練數(shù)據(jù)和學(xué)習(xí)參數(shù)未受到損害。
隨著我們?cè)谏疃葘W(xué)習(xí)安全問題方面更深一步的研究，我們也必須對(duì)那些用于分析圖片或識(shí)別語(yǔ)音的、數(shù)量龐雜的數(shù)據(jù)背后所隱藏的東西保持警惕。
