IT領導者的必修課:如何衡量人工智能的業(yè)務影響及價值?

極客AI
衡量任何計劃或技術的商業(yè)價值并不總是線性計算的。AI當然也不例外,尤其是考慮到成熟度和業(yè)務潛力時,對技術的信任度至關重要,無論是突破性技術還是成熟技術。諸如數(shù)據(jù)挖掘、培訓成本的節(jié)省、投資和促進新用途的能力等經(jīng)過驗證和預測的變量,將會影響可接受的投資回報率的決策。

盡管人工智能(AI)仍存在不確定性,但忽視其發(fā)展?jié)摿Γ瑢鼓切├^續(xù)以原有方式開展業(yè)務的企業(yè)面臨重大風險。

2345截圖20220818151609.png

越來越多的經(jīng)過驗證的AI項目正在規(guī)模部署,其中一些企業(yè)看到了顯著的好處。但對于許多企業(yè)來說,從AI中獲取價值可能是難以捉摸的,例如AI的模型可能無法調(diào)整,訓練數(shù)據(jù)集可能不夠大,客戶可能會心存疑慮,以及關于AI的偏見、道德和透明度的擔憂。

在AI計劃準備就緒之前將其投入生產(chǎn),或在對其結果進行適當審查之前將AI戰(zhàn)略擴展多業(yè)務階段,可能會讓企業(yè)受到損失。或者更糟糕的是,不當?shù)氖褂脮⒐緲I(yè)務推向不利的方向。

因此,評估AI投資回報率至關重要,但同時具有挑戰(zhàn)性。如何衡量AI的業(yè)務影響呢?以下帶你了解IT領導者和業(yè)內(nèi)人士如何衡量AI的價值。

正確對待成熟和突破性技

衡量任何計劃或技術的商業(yè)價值并不總是線性計算的。AI當然也不例外,尤其是考慮到成熟度和業(yè)務潛力時,對技術的信任度至關重要,無論是突破性技術還是成熟技術。諸如數(shù)據(jù)挖掘、培訓成本的節(jié)省、投資和促進新用途的能力等經(jīng)過驗證和預測的變量,將會影響可接受的投資回報率的決策。

對于美國國家航空航天局噴氣推進實驗室來說,衡量AI項目投資回報率的關鍵因素是技術成熟度。

該實驗室首席技術和創(chuàng)新官Chris Mattmann表示,一些AI用例如今已經(jīng)非常成熟,比如自動化業(yè)務流程。“每家公司都有重復而單調(diào)的工作,所以需要將一些業(yè)務流程實現(xiàn)自動化,例如票務處理、搜索、數(shù)據(jù)挖掘、使用AI查驗合同等。”

該實驗室使用商業(yè)可用的技術來做到這一點,其中包括DataRobot和Google Cloud。Mattmann說,為了確定一項特定技術是否值得投資,將考慮它是否會節(jié)省成本、時間和資源。

對于處于中等成熟度的技術,該實驗室著眼于該技術是否具有開啟新用例的能力,以及成本是多少。他說,“我們發(fā)射的火星探測器需要有一個用于太空通信的傳輸方式,而如今已經(jīng)有足夠的帶寬支持每天從火星向地球發(fā)送大約200張照片。

他介紹,該火星探測器具有豌豆大小的大腦,采用的是iPhone一樣的處理器,它們可以承受各種考驗。成熟芯片性能良好,可以滿足應用需求。”但是,AI將開啟目前無法實現(xiàn)的新用例。例如,漫游者火星探測器無需每天發(fā)回200張圖像,而是可以使用AI分析圖像本身,并可以向地球發(fā)送一百萬字的文字說明,例如描述在特定方向上有一個干涸的湖床。與目前的圖像相比,企業(yè)可以通過文本獲得更多可見性。

最后,對于最前沿的實驗性AI技術,衡量成功的標準是它們是否允許完成新的科學探索,以及撰寫和發(fā)表新論文。

谷歌和微軟等公司可以隨時訪問海量的訓練數(shù)據(jù),但在美國國家航空航天局噴氣推進實驗室,數(shù)據(jù)集很難獲取,需要博士級別專家進行分析和標注。正如Mattmann所說,“美國國家航空航天局訓練新的AI模型的成本是商業(yè)行業(yè)的10到20倍。”

在這方面,新技術的出現(xiàn)將使美國宇航局能夠創(chuàng)建AI模型,而不需要人工標注。例如,生成網(wǎng)絡可以用來創(chuàng)建合成訓練數(shù)據(jù)。

衡量AI的業(yè)務影響及范圍

當無法直接衡量AI項目的業(yè)務影響時,企業(yè)將從相關關鍵績效指標(KPI)中挖掘數(shù)據(jù)。這些變量通常與業(yè)務目標相關,可以包括客戶滿意度、上市時間或員工保留率。

2345截圖20220818151609.png

Atlantic Health System公司高級副總裁兼首席信息官Sunil Dadlani說,患者是該公司每項決策的核心。因此,在許多方面,AI投資的回報是通過觀察患者護理的改進來衡量的。這些以患者為中心的指標包括縮短住院時間、加快治療、保險資格驗證和保險授權。

另一個項目涉及使用AI來支持放射科醫(yī)生檢查掃描,其KPI是放射科醫(yī)生收到潛在異常發(fā)現(xiàn)警報的頻率。Dadlani說,“截至2022年4月,我們99%的放射科醫(yī)生報告說使用AI分析了12000多項研究,已經(jīng)觸發(fā)了近600個警報?;诖耍@些醫(yī)生可以盡快解決潛在的嚴重問題。”

美國排名第五的RSM會計師事務管理咨詢、業(yè)務和技術轉(zhuǎn)型團隊合伙人Richard Davis指出,該公司AI投資遵循兩條緊密相連的途徑:一條途徑是幫助員工更好地工作的生產(chǎn)力和分析工具,另一條途徑是客戶使用的相同或類似工具。

例如,在與客戶合作時,可能會要求RSM會計師事務所從多個系統(tǒng)(會計、銷售和營銷、人力資源、物流)中提取數(shù)據(jù),并將所有內(nèi)容整合到一個表格中。Davis表示,AI可以幫助加快這一過程。

那么企業(yè)如何知道其AI是否朝著正確的方向發(fā)展呢?Davis說,“我們可以非常清楚地衡量工具的使用情況,隨著時間的推移,我們希望看到的是更高效的參與。”

他表示,這種參與度的提高應該會導致生產(chǎn)率的提高。“如果過去需要一周才能完成某件事,我們的目標可能是將其縮短到一天。”

關注AI的商業(yè)利益

衡量AI的成功也可能是主觀的。麻省理工學院AI研究科學家、零售行業(yè)的數(shù)據(jù)科學家Eugenio Zuccarelli表示,評估AI項目與開發(fā)AI本身一樣是一門藝術。

Zuccarelli說,盡管如此,能夠解釋AI對業(yè)務的影響仍然很重要,“關鍵績效指標(KPI)不應該圍繞模型本身設定,而應該圍繞業(yè)務和人員指標,這應該是AI項目的最終目標。否則,很容易選擇一個看似成功但實際上并不能轉(zhuǎn)化為對企業(yè)產(chǎn)生有效影響的技術指標。”

Zuccarelli曾在寶馬公司和Telstra公司擔任數(shù)據(jù)科學職位,他警告不要孤立地衡量進展。例如,如果一個AI項目旨在改進由于其他原因已經(jīng)在改進的東西,那么需要一個控制團隊來確定實際上有多少改進是由AI引起的。

具有多年金融服務行業(yè)經(jīng)驗的Vladislav Shapiro表示,AI項目的KPI具有其他價值,例如減少錯誤警報或自動刪除過多特權。他們在最近進行的一項由AI驅(qū)動的安全部署中,將誤報率降低了三倍,并且許多以前的人工流程都實現(xiàn)了自動化。

他說,“當向企業(yè)管理層展示這些數(shù)字時,他們就會明白,上述所有措施都降低了數(shù)據(jù)被泄露的風險,并增加了問責制和治理。”

逐步衡量AI的成功

全球?qū)I(yè)服務商Genpact公司首席數(shù)字策略師Sanjay Srivastava表示,降低成本的自動化是展示AI經(jīng)濟效益的最簡單、最清晰的方式。但AI也可以促進新的收入來源,甚至徹底改變企業(yè)的商業(yè)模式。

2345截圖20220818151609.png

例如,一家飛機發(fā)動機制造商發(fā)現(xiàn)AI可以更好地預測故障和改善物流,從而可以提供發(fā)動機服務。Srivastava說,“對于最終消費者來說,購買飛行里程比購買發(fā)動機本身更有吸引力。這是一種新的業(yè)務模式。它改變了企業(yè)運營方式,因為AI使之成為可能。”

當然這種商業(yè)成功不是立竿見影的,為了證明在某段時間內(nèi)對AI的投資是合理的,這家制造商需要定個長期目標,并將其轉(zhuǎn)化為可以通過其他方式衡量的短期項目。

因此,“不要說,‘我們在十年后將改變這個行業(yè)’,而是說,‘我們在第一年將開始考慮需要庫存的零件’。這是一個為期一年的項目,旨在優(yōu)化倉庫系統(tǒng),減少庫存投資。”

除了優(yōu)化供應鏈之外,其他短期進度衡量指標還包括客戶滿意度等。

與公司戰(zhàn)略愿景保持一致

還有一個現(xiàn)實是,在短期內(nèi),一些AI項目可能會損害企業(yè)的收入,但從長遠來看仍然是重要的和變革性的。

Gartner公司分析師Whit Andrews說,例如推出客戶服務聊天機器人的企業(yè)可以消除日常任務,但聊天機器人可能也是有害的,因為有些人喜歡溝通,并希望與真實人員接觸。

他表示,“這可以追溯到企業(yè)想成為什么樣的公司。在某些時候,企業(yè)必須詢問自己是否是這樣的公司。例如,如果快遞出現(xiàn)問題,客戶可以打電話詢問它在哪里,與他們互動,然后嘗試每月一次向他們銷售產(chǎn)品。”

言下之意,如果該公司致力于AI驅(qū)動的轉(zhuǎn)型,并以可衡量的投資回報率提供支持,并具有以客戶為中心的愿景,那么它可能會超越對收入的直接影響,轉(zhuǎn)而關注其他可能更有意義的指標。

綜上,人工智能的業(yè)務影響及價值是可以從多個維度衡量的。AI技術本身還在發(fā)展演進中,各細分領域的應用成熟度也不相同,IT領導者必須能夠結合公司實際業(yè)務情況加以應用和評估,才能正確擁抱AI,不在新一輪變革中掉隊。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論