本文來自微信公眾號“計算機世界”。
自從2022年底ChatGPT發(fā)布以來，互聯網上一直充斥著各種或悲觀、或樂觀的情緒。不管你是喜歡還是討厭，人工智能都會進入你的開發(fā)團隊。即使你不打算開發(fā)人工智能產品或采用人工智能開發(fā)機器人為寫代碼，它仍然可能被整合到用于構建、測試和運行你的手動編寫源代碼的工具和平臺中。
人工智能工具會帶來與眾不同的風險。而且，這些風險可能會抵消自動化曾經需要人類大腦執(zhí)行的任務所帶來的巨大的生產力效益。這些風險來自于人工智能的訓練、構建、托管和使用方式，所有這些都與開發(fā)者目前使用的其他軟件工具不同。了解風險是管理風險的第一步，為了幫助你了解與即將到來的人工智能工具相關的潛在風險，我們編寫了一些面試問題，可以算作人工智能入職考察過程的一部分。
無論人工智能的類型或希望利用其達成的目的如何，都應該問這些問題。
1.你將選用的人工智能的服務器在哪里托管？
現代人工智能目前需要專用、昂貴的硬件來完成我們今天看到的頭條新聞中的驚人任務。除非你打算收購一個全新的數據中心，否則你的人工智能機器人將遠程工作，并需要與使用遠程訪問和異地數據存儲的遠程人類工作者一樣的安全考慮。
在代碼離開邊界時，有什么樣的保護措施來防止IP丟失？從智能電視到汽車的一切都在向制造商報告使用數據。一些人正在使用這些數據來改進他們的軟件，但另一些人正在將其出售給廣告商。準確了解你的人工智能工具將如何使用或處理源代碼或其他用于其主要任務的私人數據。
2.你的輸入是否會被用于人工智能的未來訓練？
人工智能模型的持續(xù)訓練將是所有者和那些數據被用于訓練模型的人越來越關注的領域。例如，所有者可能希望防止廣告商將人工智能機器人偏向于有利于其客戶的方向。在網上分享作品的藝術家已經讓人工智能圖像生成機器人復制了他們的風格，他們非常擔心其原創(chuàng)作者的身份喪失或被盜。
3.結果的準確性怎么樣？
ChatGPT最著名的缺點是其結果的不準確性。它會自信地把虛假的東西斷言為真理。這被稱為人工智能的“幻覺”。了解人工智能可能產生幻覺的方式和地點，可以在它產生幻覺時幫助管理它。
除此之外，人工智能所有者和開發(fā)者將有自己的一系列安全問題。這些新的擔憂包括對人工智能訓練模型的威脅。這些威脅可能會破壞其結果或披露有關模型如何運作的專有信息。此外，人工智能模型將不得不與API、網絡、移動和其他需要安全構建的應用程序對接。
開發(fā)人員在使用人工智能工具（如人工智能安全掃描儀）管理軟件開發(fā)過程中引入的風險時，將不得不提出具體問題。
4.人工智能工具是否最適合這個用例？
了解人工智能擅長什么和不擅長什么是關鍵。一項任務可以進一步分解為“根據學習到的規(guī)則做出決定”或“編寫通過學習到的規(guī)則的內容”，人工智能在這方面會做得越好。問題偏離越遠，人工智能的表現就越差。
如果工具沒有捕捉到內容或者產生了不存在的幻覺，有什么保障措施？
永遠不要在你的流程中引入單點故障，特別是一個可以產生幻覺的故障。依靠傳統的縱深防御做法或管理風險的“瑞士奶酪”方法，在這種方法中，即使一層錯過了問題，下一層也會抓住它。
審查工具結果需要什么來監(jiān)督？這個問題其實不過是新瓶裝舊酒：傳統的日志指引分成兩部分。第一部分是捕獲重要事件的數據，第二部分是審核日志。在人工智能進一步成熟，并且其缺點被理解或緩解之前，人類在工作流程中仍然是不可或缺的。
越來越多的開發(fā)者正在“雇傭”ChatGPT來編寫源代碼。初步報告顯示，ChatGPT能夠用許多編程語言編寫源代碼，并能流利地使用所有常見的和公開討論的語言。但由于這個測試版的訓練和模型的限制，它產生的代碼并不總是完美的。通常，它包含可能改變軟件操作方式的業(yè)務邏輯缺陷，可能融合不同版本軟件的語法錯誤，以及其他看似人為的問題。換句話說，ChatGPT是一個初級開發(fā)人員。當使用這個初級開發(fā)人員編寫的代碼時，必須考慮如何管理它。
誰將成為它的管理者，并確保代碼具備功能性、可優(yōu)化、高質量，而且還能達到安全標準？初級開發(fā)人員需要高級開發(fā)人員指導。每一行代碼都要進行測試，有些還得進行修正。然而，初步報告顯示，這種校對過程比從頭開始寫代碼更快、更容易。
5.它是在你的代碼庫中注入或重新混合培訓代碼嗎？
一個更隱蔽的威脅是，有時像GitHub Copilot這樣的人工智能機器人產生的源代碼會完全復制其訓練數據中的代碼塊。這需要反剽竊工具來確保版權風險得到管理。
6.機器人從哪里獲得其訓練數據？
人工智能模型的優(yōu)劣取決于其訓練數據。如果機器人是通過陳舊或不正確的代碼進行訓練，它也將生產出陳舊的和不正確的結果。
7.引擎托管在哪里？
同樣，分析源代碼的人工智能機器人將需要把源代碼帶到其處理設施。要格外考慮數據在離開你折公司后，是如何被保護、使用和處理的。
12月發(fā)布的ChatGPT預示著軟件開發(fā)的一個新時代。重要的是要適應這些變化，而不是被它們打倒在地。在采用這些新工具時，要明白事物變化越大，有一條原則就越是保持不變：防止安全事件發(fā)生總比被安全事件打翻在地要好。
