本文來自極客網(wǎng)，作者：小菲。
據(jù)《福布斯》9月4日報道，牛津大學(xué)的伊利亞·舒梅洛夫博士及其團隊在《自然》雜志上發(fā)表的一項研究中指出，當(dāng)AI系統(tǒng)僅依賴于由自身生成的內(nèi)容進行訓(xùn)練時，其輸出質(zhì)量會迅速下降。
這種現(xiàn)象被稱為“模型崩潰”，即AI在不斷使用自身生成的數(shù)據(jù)進行訓(xùn)練后，其輸出內(nèi)容逐漸失去準(zhǔn)確性和實用性。
研究顯示，在經(jīng)過五次連續(xù)的自我生成內(nèi)容訓(xùn)練后，AI的輸出質(zhì)量顯著下降；到了第九次，輸出內(nèi)容已經(jīng)退化為毫無意義的文本。
舒梅洛夫博士指出，模型崩潰的發(fā)生速度之快和難以察覺的程度令人驚訝。最初，它可能只影響少數(shù)數(shù)據(jù)，但隨后會逐漸侵蝕輸出的多樣性，最終導(dǎo)致整體質(zhì)量的嚴(yán)重下降。
為了驗證這一現(xiàn)象，研究人員采用了一種方法：他們使用了一個預(yù)訓(xùn)練的AI系統(tǒng)，該系統(tǒng)能夠驅(qū)動一個維基百科的版本，并讓AI基于自己生成的內(nèi)容進行更新。結(jié)果發(fā)現(xiàn)，隨著受污染數(shù)據(jù)的累積，原本的訓(xùn)練集逐漸被侵蝕，輸出的信息質(zhì)量也隨之惡化。例如，在經(jīng)過多次循環(huán)后，原本關(guān)于14世紀(jì)英國教堂尖頂?shù)臈l目被錯誤地更新為關(guān)于短尾兔子的論文。
此外，AWS團隊在6月的另一項研究中發(fā)現(xiàn)，大約57%的網(wǎng)絡(luò)文本都經(jīng)過了AI算法的處理。如果互聯(lián)網(wǎng)上的人類生成內(nèi)容被AI生成內(nèi)容迅速取代，那么AI可能正面臨“自我毀滅”的風(fēng)險，同時也可能對互聯(lián)網(wǎng)的內(nèi)容質(zhì)量造成嚴(yán)重影響。
研究最后建議，為了確保AI的長期可持續(xù)發(fā)展，必須確保其能夠訪問到非AI生成的內(nèi)容，并持續(xù)引入新的人工生成內(nèi)容，以避免模型崩潰的發(fā)生。
