本文來自智東西（zhidx.com），來源 | Runway、VentureBeat，編譯 | 汪越。
智東西10月23日消息，據(jù)VentureBeat報道，10月22日，明星AI視頻創(chuàng)企Runway推出了一項名為Act-One的新功能。
Act-One集成在了Runway的視頻生成模型Gen-3 Alpha中。用戶可以使用手機或相機輕松錄制自己或他人的視頻，之后利用Act-One功能將錄制對象的面部表情轉(zhuǎn)移到AI生成的角色上。
根據(jù)Runway官方博客發(fā)布的信息，從昨天開始，該公司已逐步向現(xiàn)有用戶開放Act-One功能，并計劃在未來不久內(nèi)全面開放給所有用戶。
一、簡化傳統(tǒng)3D動畫復(fù)雜流程，Act-One精準(zhǔn)捕捉演員微表情
自2022年底首批文生視頻模型問世以來，AI視頻技術(shù)在真實性、分辨率、保真度、提示匹配度（即AI生成的視頻與用戶提供的描述或示例的契合程度）以及生成數(shù)量等方面取得了顯著進步。
然而，對于許多AI視頻創(chuàng)作者來說，一個持續(xù)存在的挑戰(zhàn)是如何在AI生成的角色中實現(xiàn)真實且可控的面部表情。大多數(shù)現(xiàn)有的解決方案在這方面表現(xiàn)得相當(dāng)有限。
如今，Act-One功能為這一難題提供了解決方案，在使用生成模型來再現(xiàn)真人動作和動畫內(nèi)容方面邁出了重要的一步。
所有擁有Runway賬戶的用戶都可以嘗試這項新功能，通過Gen-3 Alpha視頻生成模型來創(chuàng)建新的視頻。不過，目前只有積分充足的用戶才能使用該功能。Gen-3 Alpha于今年早些時候推出，支持多種輸入方式，包括文字轉(zhuǎn)視頻、圖片轉(zhuǎn)視頻及視頻轉(zhuǎn)視頻。用戶可以通過描述場景、上傳圖片或視頻，或者結(jié)合這些元素，讓Gen-3 Alpha基于輸入內(nèi)容生成全新的視頻。
盡管Act-One當(dāng)前的可用性仍然有限，但已經(jīng)獲得了不少AI視頻創(chuàng)作者的高度評價。此外，Runway最近宣布與好萊塢知名電影公司獅門影業(yè)達成合作，將基于獅門影業(yè)超過2萬個影片的內(nèi)容庫，開發(fā)定制化的AI視頻生成模型。
傳統(tǒng)的面部動畫制作通常是一個復(fù)雜且耗時的過程，涉及動作捕捉設(shè)備、手動面部綁定和多個參考鏡頭。這些技術(shù)的目標(biāo)是將演員的表演轉(zhuǎn)化為適合動畫流程的3D模型。
對電影制作感興趣的人可能在片場或觀看《指環(huán)王》系列、《阿凡達》等特效和動作捕捉電影的幕后花絮時，了解到這一過程的復(fù)雜性。例如，在《猩球崛起》中，演員們?nèi)聿紳M乒乓球標(biāo)記，臉上也貼滿了標(biāo)記，并佩戴著頭戴式設(shè)備。
▲演員臉上布滿標(biāo)記，并被頭戴式設(shè)備擋住。（圖源：YouTube）
據(jù)VentureBeat報道，正是這種對復(fù)雜面部表情精確建模的需求，促使導(dǎo)演大衛(wèi)·芬奇（David Fincher）和他的團隊在《本杰明·巴頓奇事》中開發(fā)了全新的3D建模流程，并最終贏得了奧斯卡獎。
傳統(tǒng)3D動作捕捉的主要難點在于如何在數(shù)字角色中保留參考鏡頭中的情感和細微表情。為了克服這一難題，近年來許多AI初創(chuàng)公司致力于減少精確動作捕捉所需的設(shè)備。例如，去年成功籌集了1000萬美元種子輪融資的3D動作捕捉應(yīng)用Move AI，推出了一項單設(shè)備動作捕捉功能。通過這一功能，用戶可以使用智能手機攝像頭或數(shù)碼相機，實現(xiàn)對全身和更廣泛動作的捕捉。
相比之下，Act-One使這一復(fù)雜過程變得更加簡單易懂。Act-One專注于面部表情建模，用戶可以通過簡單的攝像機設(shè)置準(zhǔn)確捕捉演員的表演，包括眼神、微表情和微妙的節(jié)奏。這樣，創(chuàng)作者可以以各種風(fēng)格和設(shè)計制作角色動畫，而無需使用動作捕捉設(shè)備或進行角色綁定。
▲只需簡單的演員表演視頻，即可為生成的角色制作動畫。（圖源：Runway）
正如Runway在其X賬號上所述：“Act-One能夠?qū)我惠斎胍曨l中的表演轉(zhuǎn)化為無數(shù)不同的角色設(shè)計和多種風(fēng)格。”
Act-One適用于各種參考圖像，能夠保留真實的面部表情，并將表演精準(zhǔn)地轉(zhuǎn)換到不同比例的角色上。這種多功能性為創(chuàng)意角色設(shè)計和動畫開辟了新的可能性。
▲使用簡單的家用攝像機即可捕捉演員的表演，并為生成的角色制作動畫。此外，還可以添加語音交替效果。（圖源：Runway）
二、Act-One的其他優(yōu)勢：多攝像機角度的電影現(xiàn)實主義、更廣泛的視頻敘事能力及公眾人物權(quán)益保護
Act-One的一大優(yōu)勢在于它能夠從各種攝像機角度和焦距提供電影級的逼真輸出，并且在不同角度下都能保持高保真的面部動畫。這種靈活性增強了創(chuàng)作者通過角色表演講述情感共鳴故事的能力，而這在過去通常需要昂貴的設(shè)備和復(fù)雜的多步驟工作流程才能實現(xiàn)。
Runway之前已經(jīng)支持視頻到視頻的AI轉(zhuǎn)換功能，允許用戶上傳自己的視頻，并讓Gen-3 Alpha或其他先前的Runway AI視頻模型（如Gen-2）對其進行“重新設(shè)計”。新的Act-One功能特別針對面部映射和效果進行了優(yōu)化。Runway聯(lián)合創(chuàng)始人兼首席執(zhí)行官克里斯托弗·巴倫蘇埃拉（Cristóbal Valenzuela）在接受VentureBeat采訪時提到，一致性和性能是Act-One的突出特點。
▲捕捉真人表演，輸出逼真的電影人物。（圖源：Runway）
此外，Runway一直在探索Act-One如何生成多回合、富有表現(xiàn)力的對話場景，這在過去使用生成視頻模型時是非常具有挑戰(zhàn)性的。
現(xiàn)在，用戶只需使用普通相機和一名演員閱讀并表演劇本中的不同角色，即可創(chuàng)建敘事內(nèi)容。一個演員僅用常見的相機就可以扮演多個角色，模型會為每個角色生成不同的輸出。這種能力有望改變敘事內(nèi)容的創(chuàng)作方式，特別是在獨立電影制作和數(shù)字媒體領(lǐng)域，這些領(lǐng)域通常缺乏高端制作資源。
巴倫蘇埃拉在X上公開說道，行業(yè)處理生成模型的方式發(fā)生了轉(zhuǎn)變?，F(xiàn)在，人們已經(jīng)超越了質(zhì)疑生成模型是否能生成一致視頻的階段。一個好的模型已成為新的基準(zhǔn)。關(guān)鍵在于如何使用這個模型，如何思考它的應(yīng)用和用例，以及最終構(gòu)建的內(nèi)容。
▲使用單個演員和攝像機設(shè)置編輯的多機位對話場景，驅(qū)動兩個獨特生成角色的表演。（圖源：Runway）
Runway的安全生成媒體基礎(chǔ)是其當(dāng)前和未來發(fā)布的Act-One的基礎(chǔ)。與Runway的所有版本一樣，Act-One配備了一套全面的內(nèi)容審核和安全預(yù)防措施。這些措施包括檢測并阻止生成包含公眾人物內(nèi)容的嘗試，技術(shù)驗證措施確保最終用戶有權(quán)使用他們通過自定義語音創(chuàng)建的語音，以及持續(xù)監(jiān)控以檢測并減少對工具和平臺的潛在濫用。
結(jié)語：Act-One突破面部識別技術(shù)障礙，推動AI視頻創(chuàng)意新高度
Act-One突破了AI面部識別技術(shù)的障礙，將有助于Runway在與越來越多競爭對手的競爭中脫穎而出。競爭對手包括，AI視頻初創(chuàng)公司Luma AI、中國AI初創(chuàng)公司MiniMax旗下的AI視頻生成器Hailuo、快手旗下的AI視頻模型Kling，以及AI視頻初創(chuàng)公司Genmo昨天剛推出的Mochi 1開源視頻生成模型。
通過減少傳統(tǒng)角色動畫的技術(shù)障礙，Runway有望在數(shù)字媒體領(lǐng)域激發(fā)新的創(chuàng)造力。借助Act-One，復(fù)雜的動畫技術(shù)變得更加易于使用。隨著Act-One的推出和被更多使用，我們或許會看到許多藝術(shù)家、電影制作人和其他創(chuàng)作者利用這一新工具實現(xiàn)他們的創(chuàng)意。
