一直以來(lái)，計(jì)算機(jī)程序都是個(gè)“左耳進(jìn)，右耳出”的“傻小子”，它們很快就會(huì)忘掉所做過(guò)的任務(wù)。DeepMind 決定改變傳統(tǒng)的學(xué)習(xí)法則，讓程序在學(xué)習(xí)新任務(wù)時(shí)也不忘掉舊任務(wù)。在追逐更智能程序的道路上，這是很重要的一步，能漸進(jìn)學(xué)習(xí)的程序才能適應(yīng)更多任務(wù)。
眼下，在解決文本翻譯、圖像分類和圖像生成等任務(wù)時(shí)，深度神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)中最成功最有效的方式。不過(guò)，只有將數(shù)據(jù)一股腦地塞給它，深度神經(jīng)網(wǎng)絡(luò)才能變得“多才多藝”。
神經(jīng)網(wǎng)絡(luò)輸入時(shí)，它會(huì)在數(shù)字神經(jīng)元與輸出方案之間建立聯(lián)系，而當(dāng)它學(xué)習(xí)新事物時(shí)，神經(jīng)網(wǎng)絡(luò)不得不重新建立新的聯(lián)系，同時(shí)有效覆蓋舊的聯(lián)系。這樣的情況被稱之為“災(zāi)難性忘卻”(catastrophic forgetting)，業(yè)內(nèi)普遍認(rèn)為這是阻礙神經(jīng)網(wǎng)絡(luò)技術(shù)不斷進(jìn)步的最大絆腳石。
與深度神經(jīng)網(wǎng)絡(luò)相比，人類大腦的工作方式就大不相同。我們可以漸進(jìn)式的學(xué)習(xí)，一次掌握一些技巧，在學(xué)習(xí)新技巧時(shí)，此前的經(jīng)驗(yàn)還能提高我們的學(xué)習(xí)效率。
DeepMind 在美國(guó)國(guó)家科學(xué)院院刊(PNAS)上發(fā)表的論文就提出了一個(gè)解決“災(zāi)難性忘卻”的有效方式，這一方法的靈感來(lái)自神經(jīng)科學(xué)的研究成果，即人類和哺乳動(dòng)物擁有鞏固先前獲得的技能和記憶的能力。
神經(jīng)科學(xué)家已經(jīng)能區(qū)分大腦中兩種類型的鞏固方式：系統(tǒng)鞏固(systems consolidation )與突觸鞏固(synaptic consolidation)。系統(tǒng)鞏固的過(guò)程中，人類大腦將快速學(xué)習(xí)部分獲得的記憶轉(zhuǎn)印進(jìn)了緩慢學(xué)習(xí)的部分。這一轉(zhuǎn)印過(guò)程有有意識(shí)的回憶參與，也有無(wú)意識(shí)回憶的參與，人類做夢(mèng)時(shí)就能完成這一轉(zhuǎn)印過(guò)程。而在突觸鞏固中，如果一種技能在此前的學(xué)習(xí)中非常重要，神經(jīng)元之間連接就不會(huì)被覆蓋。DeepMind 的算法就是沾了突觸鞏固的光，成功解決了“災(zāi)難性忘卻”的問(wèn)題。
神經(jīng)網(wǎng)絡(luò)中神經(jīng)元的連接與大腦非常相似，在學(xué)習(xí)完一個(gè)技巧后，DeepMind 會(huì)計(jì)算出在神經(jīng)網(wǎng)絡(luò)中的哪個(gè)連接對(duì)已學(xué)到的任務(wù)最為重要。隨后在學(xué)習(xí)新技巧時(shí)，這些重要的連接就會(huì)被保護(hù)起來(lái)不被覆蓋。這樣一來(lái)，在計(jì)算成本沒(méi)有顯著升高的情況下，“左耳進(jìn)，右耳出”的問(wèn)題就解決了。
如果用數(shù)學(xué)術(shù)語(yǔ)來(lái)解釋，可理解為在一個(gè)新任務(wù)中把每個(gè)連接所附加的保護(hù)比作彈簧，彈簧的強(qiáng)度與其連接的重要性成比例。因此，DeepMind 將這種算法稱之為“彈性權(quán)重鞏固”(Elastic Weight Consolidation，EWC)。
為了測(cè)試該算法，DeepMind 讓程序不斷嘗試玩 Atari 游戲。據(jù)了解，單單從得分來(lái)學(xué)習(xí)一個(gè)游戲是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，但是依次學(xué)習(xí)多個(gè)游戲則更加困難，因?yàn)槊總€(gè)游戲需要單獨(dú)的戰(zhàn)略。如下圖所示，如果沒(méi)有 EWC 算法，程序會(huì)在游戲停止后快速將之前的事忘得一干二凈(藍(lán)色)，這就意味著其實(shí)程序什么游戲都沒(méi)學(xué)會(huì)。不過(guò)，如果用上 EWC 算法(棕色和紅色)，程序就不那么容易遺忘，且可以逐個(gè)學(xué)會(huì)多個(gè)游戲。
眼下計(jì)算機(jī)程序還不能適應(yīng)即時(shí)學(xué)習(xí)的節(jié)奏，不過(guò) DeepMind 的新算法已經(jīng)攻克了“災(zāi)難性忘卻”這座大山。未來(lái)，這項(xiàng)研究結(jié)果可能是計(jì)算機(jī)程序通往靈活高效學(xué)習(xí)的敲門磚。
同時(shí)，這項(xiàng)研究也深化了 DeepMind 對(duì)“鞏固”在人類大腦中產(chǎn)生過(guò)程的理解。事實(shí)上，該算法所基于的神經(jīng)科學(xué)理論都是在非常簡(jiǎn)單的例子中得到證實(shí)的。通過(guò)將該理論應(yīng)用在更現(xiàn)實(shí)和復(fù)雜的機(jī)器學(xué)習(xí)環(huán)境中，DeepMind 希望進(jìn)一步加強(qiáng)對(duì)突觸鞏固在記憶保存中的作用及其機(jī)制的研究。
