組織為什么要在機(jī)器學(xué)習(xí)治理上掙扎?當(dāng)我們要為組織解決機(jī)器學(xué)習(xí)治理時(shí)，我們看到客戶(hù)面臨五個(gè)主要挑戰(zhàn)。
機(jī)器學(xué)習(xí)模型治理是組織如何控制訪問(wèn)、實(shí)現(xiàn)策略和跟蹤模型活動(dòng)的整個(gè)過(guò)程。這是降低模型失效、法規(guī)遵從性和攻擊風(fēng)險(xiǎn)的必要條件。治理是將組織的底線(xiàn)和品牌風(fēng)險(xiǎn)最小化的基礎(chǔ)。具有有效機(jī)器學(xué)習(xí)治理的組織不僅具有對(duì)模型在生產(chǎn)中的運(yùn)行方式的細(xì)粒度控制和可見(jiàn)性，而且通過(guò)將AI/ML治理策略與IT策略的其余部分集成，它們可以釋放運(yùn)營(yíng)效率。
通過(guò)治理，組織可以了解可能影響模型結(jié)果的所有變量，從而幫助他們快速識(shí)別和緩解可能降低結(jié)果準(zhǔn)確性和應(yīng)用程序性能的問(wèn)題(例如模型漂移)。這些問(wèn)題會(huì)隨著時(shí)間的推移，直接影響企業(yè)的底線(xiàn)，并隨著時(shí)間的流逝削弱客戶(hù)對(duì)品牌的信任。
在一份有關(guān)機(jī)器學(xué)習(xí)治理的白皮書(shū)中有提到管理人工智能治理的7步框架。
首先我們要知道，組織為什么要加大力度進(jìn)行機(jī)器學(xué)習(xí)治理?
機(jī)器學(xué)習(xí)治理是各組織在2021年面臨的最大挑戰(zhàn)，因?yàn)樗鼈冋?jìng)相擴(kuò)大機(jī)器學(xué)習(xí)能力，以在快速發(fā)展的數(shù)字化市場(chǎng)中保持競(jìng)爭(zhēng)力。(資料來(lái)源:2021年企業(yè)機(jī)器學(xué)習(xí)趨勢(shì)報(bào)告)
當(dāng)我們的客戶(hù)需要為他們的組織解決機(jī)器學(xué)習(xí)治理時(shí)，我們看到了五個(gè)主要的挑戰(zhàn)。
●不清楚什么是最佳實(shí)踐：我們?nèi)蕴幱跈C(jī)器學(xué)習(xí)治理的初期，組織缺乏明確的路線(xiàn)圖或規(guī)范性建議，無(wú)法在自己特定的環(huán)境中進(jìn)行有效實(shí)施。
●相關(guān)法規(guī)不夠完善：不斷變化和模糊的監(jiān)管環(huán)境導(dǎo)致了不確定性，公司需要投入大量資源來(lái)維持合規(guī)。那些不能跟上的公司可能會(huì)失去競(jìng)爭(zhēng)優(yōu)勢(shì)。
●現(xiàn)有的解決方案都是手動(dòng)的且不完整：即使是今天正在實(shí)施治理的組織，也是使用各種各樣不同的工具和手動(dòng)流程拼湊而成。這樣的解決方案不僅需要持續(xù)的維護(hù)，而且它們還存在覆蓋范圍的關(guān)鍵缺口。
●機(jī)器學(xué)習(xí)不容易集成到現(xiàn)有的IT策略中：有效的機(jī)器學(xué)習(xí)治理需要與IT協(xié)作，但大多數(shù)組織仍然將機(jī)器學(xué)習(xí)視為精品計(jì)劃——這使得它難以集成到更標(biāo)準(zhǔn)化的企業(yè)IT流程和技術(shù)堆棧中。
●管理不善的機(jī)器學(xué)習(xí)給公司資產(chǎn)帶來(lái)風(fēng)險(xiǎn)：實(shí)施機(jī)器學(xué)習(xí)的公司面臨著品牌和利潤(rùn)的風(fēng)險(xiǎn)。這些存在偏差或不被理解的模型可能會(huì)侵蝕客戶(hù)對(duì)品牌的信任，而不被監(jiān)控的模型可能會(huì)在生產(chǎn)中失敗。
組織應(yīng)采取哪些措施來(lái)改善機(jī)器學(xué)習(xí)治理?
組織應(yīng)該實(shí)施一個(gè)可以解決上述機(jī)器學(xué)習(xí)治理挑戰(zhàn)的MLOps平臺(tái)。否則組織就不得不拼湊起來(lái)并維護(hù)他們自己的解決方案。無(wú)論哪種方式，你都要確保能夠支持以下7個(gè)關(guān)鍵層面：
●完整的模型目錄，包括模型風(fēng)險(xiǎn)文檔，用于訓(xùn)練和預(yù)測(cè)模型數(shù)據(jù)源的描述以及模型輸出的目標(biāo)和使用。
●基于風(fēng)險(xiǎn)梯度的靈活模型風(fēng)險(xiǎn)管理框架：高風(fēng)險(xiǎn)模型得到更多的驗(yàn)證、測(cè)試和監(jiān)控，而低風(fēng)險(xiǎn)模型得到更輕松的接觸，將更多的責(zé)任委派給業(yè)務(wù)單元或模型開(kāi)發(fā)人員;
●擁有一個(gè)有效的過(guò)程，用于將模型部署并集成到舊系統(tǒng)和數(shù)據(jù)體系結(jié)構(gòu)中
●IT可以使用工具來(lái)操作，管理和監(jiān)視生產(chǎn)中模型的運(yùn)行狀況，從而使模型開(kāi)發(fā)人員脫離模型操作
●監(jiān)控模型準(zhǔn)確性和數(shù)據(jù)一致性的工具，如果模型結(jié)果或輸入數(shù)據(jù)有所偏差或輸入數(shù)據(jù)質(zhì)量下降，這些工具將生成警報(bào);
●集成的模型和數(shù)據(jù)更改管理流程，以便對(duì)數(shù)據(jù)或模型的變更進(jìn)行適當(dāng)?shù)臏y(cè)試和溝通，以防止意外情況的發(fā)生;
●標(biāo)準(zhǔn)的審計(jì)報(bào)告和日志，以便審查人員和審核員可以審查模型結(jié)果、變更歷史、數(shù)據(jù)錯(cuò)誤或過(guò)去的模型失敗和采取措施的記錄。
