本文來自劉曠微信公眾號，作者/劉曠。
前不久，身穿太空服的馬斯克瞬間進入二次元的視頻在網(wǎng)上引起炸裂，讓人不可思議的是，動畫版的馬斯克不僅神形兼?zhèn)?，背景和動作也非常連貫合理，而這一切都來自于一位斯坦福華人博士生設(shè)計的一款名叫“Pika”的視頻生成工具。只需要在該軟件的視頻輸入框內(nèi)輸入“馬斯克穿著太空服，3D動畫”的關(guān)鍵詞，一個身穿太空服的卡通馬斯克便能躍然于屏上。
近幾年，隨著AIGC賦能多業(yè)態(tài)應(yīng)用的加速落地，整個行業(yè)的熱潮，已經(jīng)逐漸從文生文、文生圖，轉(zhuǎn)向了文生視頻領(lǐng)域。事實上，AIGC從文字到視頻是大的發(fā)展趨勢，不少產(chǎn)業(yè)人士已經(jīng)感知到了市場的風(fēng)向，國內(nèi)字節(jié)跳動、阿里、百度等科技大廠均已跑步入場。
AIGC邁入視頻時代
據(jù)了解，字節(jié)跳動于11月18日推出了文生視頻模型PixelDance；阿里緊隨其后也上線了Animate Anyone模型；百度文心大模型的類似功能則在內(nèi)測中，不久后會以插件形式開放。顯然，AI技術(shù)與文生視頻的融合已經(jīng)在業(yè)界掀起了一股新的熱潮。而國內(nèi)玩家之所以如此積極地下場布局，其中的原因不言而喻。
首先，文生視頻應(yīng)用非常廣泛，具備巨大的市場潛力。短視頻市場雖然方興未艾，但短視頻的制作能力卻跟不上各個平臺爆發(fā)的短視頻需求。而文生視頻技術(shù)的日趨成熟和廣泛應(yīng)用，或?qū)楫?dāng)下熱門的短視頻市場帶來一些變數(shù)。比如，影視和游戲等行業(yè)就是文生視頻落地的重要場景，文生視頻用文字就可以編輯和生成想要的故事情節(jié)，實現(xiàn)創(chuàng)意輔助和降本增效。而憑借為內(nèi)容生成賦能這一獨特優(yōu)勢，文生視頻的前景也是毋庸置疑。
其次，文生視頻操作十分便利，能有效降低各項成本。眾所周知，個性化的視頻制作麻煩、成本高昂，所以一款簡單的視頻生成工具，就成了不少行業(yè)和企業(yè)的渴望，而AI文生視頻技術(shù)能力的突破則為這一問題帶來全新解決方案。文生視頻顧名思義就是無需視頻制作技巧，僅用簡單文字就可以生成想要的視頻素材，不僅如此，還能隨著輸入場景和關(guān)鍵詞不斷更新，簡直大大降低了視頻制作的門檻和成本，可以說是創(chuàng)作者在數(shù)字化時代下的“福音”。
最后，文生視頻產(chǎn)品功能驚艷，能進一步增強企業(yè)競爭力。在當(dāng)下的AI賽道上，文生圖的應(yīng)用早已層出不窮，相比較而言，能夠完全“攻下”文生視頻這一陣地的玩家卻是寥寥無幾。歸根結(jié)底，是文生視頻的產(chǎn)品功能更加強大，其難度自然也就可想而知了。只不過，高難度往往伴隨著高價值，若是有哪一個企業(yè)能憑借強大的算力、跨領(lǐng)域合作能力和技術(shù)自主性等優(yōu)勢引領(lǐng)這一賽道，那么其在行業(yè)內(nèi)形成差異化優(yōu)勢也將指日可待。
萬丈高樓平地起
文生視頻作為一種新興的傳媒形式，正以前所未有的方式影響著我們的日常生活。目前，在企業(yè)宣傳、數(shù)字化人、科普創(chuàng)作、線上社交等領(lǐng)域都對文生視頻技術(shù)有所運用。而為了提高視頻生成的流暢度、真實感，國內(nèi)入局的玩家如字節(jié)跳動、阿里和百度等都在多個方面下足了功夫。
一方面，各玩家收集了大量數(shù)據(jù)，以提高視頻生成效果的多樣性。文本生成視頻模型往往需要大量數(shù)據(jù)來學(xué)習(xí)字幕的相關(guān)性、幀照片的寫實感和時間的動態(tài)信息，而缺乏高質(zhì)量配對的數(shù)據(jù)集，就難以合理組合人物、難以合理架構(gòu)場景，因此，生成視頻的合理性及連貫性就會大打折扣。阿里為了提高生成效果的多樣性，就讓其研究人員收集了大約3500萬單的文本視頻對和60億文本圖像對來優(yōu)化模型，讓生成的視頻達到了預(yù)期效果。
另一方面，各玩家設(shè)計了分層編輯器，以提高文生視頻語義的一致性。從簡單文字生成高質(zhì)量視頻，就需要文生視頻產(chǎn)品能夠準確預(yù)測文字的意圖，然后在保持輸入文字內(nèi)容和結(jié)構(gòu)的同時生成精確的運動。為了達到這一目標，阿里的研究者設(shè)計了兩個分層編碼器，即固定CLIP編碼器和可學(xué)習(xí)內(nèi)容編碼器，分別提取高級語義和低級細節(jié)，然后將其合并到視頻擴散模型中，更好地確保了低分辨率下生成視頻的語義連貫。
除此之外，各玩家還提高了視頻分辨率，以保證視頻生成效果的高質(zhì)量。文生視頻最理想的效果就是用戶給出提示詞，系統(tǒng)自動生成任何風(fēng)格相對應(yīng)的視頻，但這就對視頻分辨率提出了不小的考驗。阿里的文生視頻將視頻分辨率提高到了1280×720，還優(yōu)化了初始的600個去噪step，以改進生成視頻中存在的細節(jié)、偽影和噪音問題。字節(jié)跳動文生視頻也提出了基于文本指導(dǎo)+首尾幀圖片指導(dǎo)的視頻生成方法，使得視頻生成的動態(tài)性變得更強。
打鐵還需自身硬
隨著人工智能和視頻技術(shù)的快速發(fā)展，AIGC行業(yè)正在向AI視頻傾斜，AI文生視頻的爆發(fā)期或許即將到來，而參與到AI視頻創(chuàng)作中的玩家也將會越來越多。即便是在這樣的大環(huán)境下，不管是已經(jīng)推出模型的字節(jié)跳動和阿里，還是正準備推出插件的百度，能入局文生視頻賽道，其自身都有著不可忽視的倚仗。
一來，參與玩家算力儲備充足，能很好地克服文生視頻在技術(shù)上的不足。作為文生文、文生圖的升級，文生視頻對算力以及模型的工程化能力要求更高。據(jù)了解，文生視頻的人工智能模型參數(shù)為10億級別至100億級別。而國內(nèi)在文生視頻領(lǐng)域有所布局的頭部玩家中，無論是字節(jié)跳動還是阿里、百度，其在參數(shù)上的積累都已經(jīng)十分深厚?？梢?，這些具有算力儲備的云服務(wù)廠商在發(fā)展視頻生成類應(yīng)用上具有天然優(yōu)勢。
二來，參與玩家行業(yè)經(jīng)驗豐富，能大大加速文生視頻面世和迭代的速度。文生圖和文生視頻的人工智能模型在底層技術(shù)框架上有著較高的相似性，一定程度上來說，文生視頻可以看作是文生圖的進階版技術(shù)，這也就意味著，文生圖的技術(shù)和經(jīng)驗可供文生視頻加以運用和參考。而眾所周知，字節(jié)跳動、阿里、百度等玩家早已在文生圖領(lǐng)域有所深耕，甚至有的產(chǎn)品也已投入商用，憑借在文生圖技術(shù)上的積淀，其在文生視頻領(lǐng)域也有望實現(xiàn)大幅進步。
三來，參與玩家資源整合能力強大，能夠為其文生視頻的發(fā)展提供助力。相較于文字和圖片，視頻能承載的信息量更大，這也就是說，想要生產(chǎn)出更加生動、高清，真實感更強的視頻，各玩家在文生視頻上的投入成本也將更高。不過，值得一提的是，作為互聯(lián)網(wǎng)大廠，阿里、百度、字節(jié)跳動經(jīng)過多年發(fā)展，其在人才、資金、算力等眾多資源和實力上的優(yōu)勢和權(quán)利不容小覷，得益于此，其文生視頻產(chǎn)品也將擁有更強的競爭力和影響力。
山雨欲來風(fēng)滿樓
文生視頻不僅顛覆了傳統(tǒng)媒體行業(yè)，也為內(nèi)容升級和產(chǎn)業(yè)進化帶來了許多新的商機和可能性。只不過，目前國內(nèi)文生視頻技術(shù)還在發(fā)展的初級階段，雖然看上去文生視頻與文生圖的邏輯極其相似，但事實上，文生視頻的難度要大得多，需要突破的瓶頸也有很多。
一是，文生視頻數(shù)據(jù)要求高、計算難度大，參與玩家離產(chǎn)出令人滿意的視頻還有很大距離。相較于文字和圖片，視頻在多維信息表達、畫面豐富性及動態(tài)性方面有更大優(yōu)勢，但這同時也意味著，文生視頻對算力的需求將進一步加大；文生視頻所涉及的自然語言處理、視覺處理、畫面合成等領(lǐng)域，需要攻克的技術(shù)難點也在增加。而國內(nèi)的玩家，目前仍然缺乏高質(zhì)量配對數(shù)據(jù)集，因此其在語義準確性、清晰度和連續(xù)性等方面將會面臨嚴峻挑戰(zhàn)。
二是，文生視頻成本耗費大，商業(yè)模式較單一，參與玩家想要將商業(yè)化跑通還有一定難度。與文生圖相比，文生視頻的計算復(fù)雜性提升，其成本耗費也會相應(yīng)有所增加。另外，圖片生成類的商業(yè)模式較為單一，收費模式和收費依據(jù)較為趨同，而視頻生成模型的收費依據(jù)則與其類似。雖然圖片生成類在多模態(tài)大模型中的商業(yè)化程度較高，可為視頻生成的商業(yè)化前景提供一定參考，但作為新興產(chǎn)業(yè)，文生視頻的商業(yè)化想要跑通仍需一定時間。
三是，國內(nèi)外企業(yè)紛紛加大了對文生視頻的投入和研究，該賽道的競爭將會進一步升級。AI視頻生成賽道已然十分熱鬧，不僅有美國AI初創(chuàng)公司Pika labs發(fā)布的“Pika 1.0”，還有谷歌推出的AI視頻生成模型“W.A.L.T”等。而除了國外企業(yè)對文生視頻技術(shù)的高度重視外，國內(nèi)百度、阿里、字節(jié)、騰訊、360、萬興科技、昆侖萬維、國脈文化、美圖等公司也紛紛涉足該領(lǐng)域，并推出了相關(guān)的人工智能模型，顯然，視頻生成領(lǐng)域的競爭正日趨白熱化。
從文生圖到文生視頻，AIGC賽道的競爭已經(jīng)非常激烈。雖然國內(nèi)文生視頻的進展相對緩慢，尚且沒有明星產(chǎn)品的出現(xiàn)，但更多有人才、有技術(shù)的文生視頻公司正在不斷涌現(xiàn)。只不過，除了上述挑戰(zhàn)之外，文生視頻目前還有一些數(shù)據(jù)隱私和安全性問題需要解決，真正的商業(yè)化運作和盈利能力也還有待驗證。而誰能在這次“跑馬圈地”中成為最終的贏家，我們也只能拭目以待。
