本文來自微信公眾號“安全牛”。
訓(xùn)練一個(gè)人工智能（AI）模型看起來似乎很簡單，但事實(shí)并非如此。要成功、安全地駕馭AI模型并不容易，這是一段充滿了許多不確定因素和潛在陷阱的旅程，隨時(shí)都可能導(dǎo)致錯(cuò)誤的輸出、低效的資源使用，甚至引發(fā)重大的安全事件。
安全研究人員表示，只有通過對細(xì)節(jié)的敏銳觀察，對道德實(shí)踐的承諾，以及對先進(jìn)技術(shù)的有力掌握，我們才可以創(chuàng)造出安全、高效、道德的AI解決方案。企業(yè)是在AI項(xiàng)目開發(fā)和實(shí)施過程中，必須規(guī)避以下10種類型的錯(cuò)誤。
01
糟糕的數(shù)據(jù)預(yù)處理
AI模型的開發(fā)需要高質(zhì)量的數(shù)據(jù)進(jìn)行訓(xùn)練，如果數(shù)據(jù)的質(zhì)量無法保證，那么AI模型很可能就會出錯(cuò)。不完整的用戶數(shù)據(jù)、錯(cuò)誤填充的數(shù)據(jù)以及未更新的過期數(shù)據(jù)都可能會讓AI模型產(chǎn)生錯(cuò)誤的結(jié)果，難以實(shí)現(xiàn)對數(shù)據(jù)的深入理解，無法捕捉到數(shù)據(jù)的潛在屬性，進(jìn)而導(dǎo)致糟糕的用戶體驗(yàn)和潛在的應(yīng)用風(fēng)險(xiǎn)。
02
模型評估不準(zhǔn)確
除了高質(zhì)量的數(shù)據(jù)，選擇正確的開發(fā)模型也很重要。AI項(xiàng)目開發(fā)人員需要確保使用正確的模型，并理解哪種模型最適合什么解決什么問題。例如，如果一家銀行使用AI模型來預(yù)測客戶貸款的違約概率，應(yīng)用程序往往會根據(jù)歷史客戶的準(zhǔn)確性對其進(jìn)行訓(xùn)練。但如果銀行只把準(zhǔn)確性作為唯一的績效衡量標(biāo)準(zhǔn)是遠(yuǎn)遠(yuǎn)不夠的。模型應(yīng)該結(jié)合使用其他性能指標(biāo)，如精確召回率和F1分?jǐn)?shù)等，進(jìn)行交叉驗(yàn)證和AUC-ROC分析，以確定模型評估結(jié)果（默認(rèn)和非默認(rèn)）的可靠性。
03
模型對齊（Alignment）不準(zhǔn)確
開發(fā)人員通常會基于一些關(guān)鍵性技術(shù)指標(biāo)（如準(zhǔn)確性、精確度、召回率或F1分?jǐn)?shù)）來優(yōu)化模型，但是這些指標(biāo)中很多都沒有與業(yè)務(wù)指標(biāo)（如創(chuàng)收、成本節(jié)約、客戶滿意度或風(fēng)險(xiǎn)降低）直接相關(guān)。然而大量實(shí)踐表明，將技術(shù)性AI指標(biāo)與業(yè)務(wù)性AI指標(biāo)保持一致對于實(shí)現(xiàn)預(yù)期的業(yè)務(wù)成果至關(guān)重要。
以信用卡欺詐檢測模型為例，僅僅強(qiáng)調(diào)模型的準(zhǔn)確性或F1分?jǐn)?shù)，可能會導(dǎo)致更多的警告交易出現(xiàn)。這會導(dǎo)致大量誤報(bào)的出現(xiàn)，很多合法交易會被錯(cuò)誤地標(biāo)記為欺詐。這將產(chǎn)生嚴(yán)重的業(yè)務(wù)影響，降低了AI應(yīng)用系統(tǒng)的實(shí)際可用性。
04
忽視數(shù)據(jù)隱私
在AI項(xiàng)目開發(fā)過程中，數(shù)據(jù)隱私保護(hù)是一個(gè)非常敏感的問題，需要額外的關(guān)注和重視，尤其是AI模型中包含有未成年人的數(shù)據(jù)時(shí)，問題就更復(fù)雜了。例如，針對青少年的一些借記卡選項(xiàng)，銀行必須確保其安全標(biāo)準(zhǔn)符合監(jiān)管合規(guī)要求。所有以任何形式或途徑收集客戶信息的公司都需要制定數(shù)據(jù)保護(hù)政策。這樣，客戶就可以知道組織如何處理他們的數(shù)據(jù)。然而，用戶如何知道他們的數(shù)據(jù)是否流入了人工智能算法的應(yīng)用中？很少（或者可以說幾乎沒有）有開發(fā)人員會關(guān)注這些信息。
我們正在步入人工智能驅(qū)動的時(shí)代，對于個(gè)人來說，了解企業(yè)如何使用人工智能、人工智能的功能及其對數(shù)據(jù)的影響將變得非常重要。企業(yè)組織必須定期進(jìn)行安全審計(jì)，并在人工智能開發(fā)的所有階段實(shí)施強(qiáng)有力的數(shù)據(jù)保護(hù)實(shí)踐。隱私風(fēng)險(xiǎn)可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。
05
擴(kuò)展能力不足
今年初，當(dāng)ChatGPT剛推出的時(shí)候，在短短兩個(gè)月內(nèi)就擁有了1億用戶。然而OpenAI公司并沒有預(yù)料到用戶數(shù)的激增，導(dǎo)致很多用戶難以正常訪問該服務(wù)。AI模型的應(yīng)用通常會令人興奮，在系統(tǒng)上線后可能在一夜之間就迅速傳播開來，有數(shù)千甚至數(shù)百萬用戶會同時(shí)訪問這個(gè)系統(tǒng)。如果我們沒有為這種快速的應(yīng)用規(guī)模擴(kuò)展做好計(jì)劃，AI模型將無法跟上節(jié)奏并導(dǎo)致資源過載。因此，從一開始就做好AI模型的實(shí)時(shí)擴(kuò)展計(jì)劃是非常重要的。要考慮該模型將如何處理大量用戶，確?；A(chǔ)設(shè)施能夠處理激增的數(shù)據(jù)處理，并管理好不斷增加的存儲需求。
06
模型訓(xùn)練過度
眾所周知，AI模型需要通過大量的數(shù)據(jù)進(jìn)行訓(xùn)練，然而在訓(xùn)練AI應(yīng)用模型時(shí)，過多的數(shù)據(jù)訓(xùn)練也會導(dǎo)致過擬合（overfitting）情況的出現(xiàn)。過擬合是指在訓(xùn)練集上達(dá)到比較高的精度，但是在實(shí)際測試中的精度卻很低，也就是缺少泛化能力（指對訓(xùn)練數(shù)據(jù)以外的數(shù)據(jù)難以做出準(zhǔn)確分析）。當(dāng)AI模型部署應(yīng)用后，數(shù)據(jù)量會日新月異，重新訓(xùn)練模型的時(shí)間成本和資金花費(fèi)都是不可接受的。對AI模型而言，要避免大量的重復(fù)訓(xùn)練，而是要通過不斷地更新模型參數(shù)來適應(yīng)不斷變化的數(shù)據(jù)分布，從而不斷提高模型的可用性。
07
用非真實(shí)的數(shù)據(jù)訓(xùn)練
當(dāng)研究人員訓(xùn)練和測試AI模型時(shí)，他們經(jīng)常使用干凈、標(biāo)記良好的數(shù)據(jù)集，且通常不反映真實(shí)世界的數(shù)據(jù)分布。因此，結(jié)果在表面上看起來令人印象深刻，因?yàn)槟Ｐ驮跍y試數(shù)據(jù)上表現(xiàn)良好，測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)共享相同的分布。這被稱為“分布內(nèi)”（in-distribution）性能。然而，在現(xiàn)實(shí)場景中，AI模型所獲取的數(shù)據(jù)會與它所訓(xùn)練的數(shù)據(jù)有明顯不同。這些數(shù)據(jù)可能比較嘈雜，也沒有清晰的標(biāo)簽和特征。因此，當(dāng)AI模型部署實(shí)際部署應(yīng)用時(shí)，它的性能往往會顯著降低。這被稱為“分布外”（out-of-distribution）性能。而實(shí)際上，企業(yè)需要面對“分布外”數(shù)據(jù)也能保持高性能的AI模型。
08
算法偏見
算法偏見（Bias）是AI模型應(yīng)用中所面臨的一個(gè)主要問題。AI模型算法和機(jī)器學(xué)習(xí)程序應(yīng)該是客觀和公正的，但事實(shí)卻并非如此。因?yàn)槿斯ぶ悄苣Ｐ褪怯扇祟愑?xùn)練的，所以它們會繼承人類的偏見。當(dāng)算法由于訓(xùn)練數(shù)據(jù)或模型設(shè)計(jì)方式的潛在偏見而產(chǎn)生系統(tǒng)性錯(cuò)誤或不公平?jīng)Q策時(shí)，就會出現(xiàn)偏見。如果不檢查人工智能模型是否存在偏見，它可能會系統(tǒng)性地使某些數(shù)據(jù)點(diǎn)處于不利地位。對抗偏見的一個(gè)有效方法是制定指導(dǎo)方針和規(guī)則，并不斷監(jiān)督和審查，以確保算法偏見的影響是已知和可掌控的。
09
忽略模型的可理解性
為了讓AI模型得到充分的信任，其決策的原理必須要透明。因此，對于維護(hù)AI模型倫理來說，這需要是可理解和可解釋的?？茖W(xué)家們一直致力于使復(fù)雜的AI模型（如深度神經(jīng)網(wǎng)絡(luò)）更加透明和可理解。他們提出了一些技術(shù)來幫助解釋為什么這些模型會做出某些決定。事實(shí)上，維護(hù)透明度和確保AI模型易于理解的最佳方法是維護(hù)完整的開發(fā)文檔。該文檔應(yīng)包括用于訓(xùn)練AI模型數(shù)據(jù)的詳細(xì)信息，這有助于使用者更清晰地理解人工智能模型，并為其決策過程注入信心。
10
忽視持續(xù)性監(jiān)測
隨著日常數(shù)據(jù)和底層模式的變化，AI模型的算法可能會過時(shí)或不那么準(zhǔn)確。這些變化可能源于不斷變化地消費(fèi)者行為、市場趨勢演變、競爭格局的變化、法規(guī)政策的修改等因素。這種現(xiàn)象也被稱為“概念漂移”（concept drift）。因此，持續(xù)性地監(jiān)控AI模型的性能表現(xiàn)和準(zhǔn)確性是至關(guān)重要的。盡管該模型最初可能提供了準(zhǔn)確的預(yù)測，但隨著時(shí)間的推移，由于上述現(xiàn)實(shí)數(shù)據(jù)的變化，其準(zhǔn)確性可能會顯著降低。
為了解決這樣的問題，公司需要根據(jù)實(shí)際需求持續(xù)跟蹤模型的輸出，并實(shí)時(shí)監(jiān)控性能指標(biāo)。此外，應(yīng)用增量學(xué)習(xí)技術(shù)也是至關(guān)重要的。這種方法使模型能夠從新數(shù)據(jù)中學(xué)習(xí)，同時(shí)保留從以前觀察到的數(shù)據(jù)中獲得的有價(jià)值的知識。通過采用這些策略，企業(yè)可以有效地適應(yīng)概念漂移，并確保對AI模型應(yīng)用需求的準(zhǔn)確把握。
