AI技術(shù)，究竟能在哪些行業(yè)實(shí)現(xiàn)規(guī)?；瘧?yīng)用？
這是視頻行業(yè)面對AI浪潮，交出的一份答卷：
素材智能檢索、老電影修復(fù)、音色克隆、虛擬動(dòng)漫偶像……
愛奇藝將最前沿的AI技術(shù)，落地到視頻創(chuàng)作、內(nèi)容分發(fā)中去，真正讓創(chuàng)作者提升效率、讓消費(fèi)者簡單快樂。
在MEET 2021智能未來大會(huì)現(xiàn)場，愛奇藝副總裁謝丹銘表示：
用AI結(jié)合科技與藝術(shù)，能促進(jìn)整個(gè)產(chǎn)業(yè)的升級(jí)發(fā)展。
在不改變原意的基礎(chǔ)上，量子位對謝丹銘的演講進(jìn)行了編輯整理。
關(guān)于MEET智能未來大會(huì)：MEET大會(huì)是由量子位主辦的智能科技領(lǐng)域頂級(jí)商業(yè)峰會(huì)，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。本次大會(huì)現(xiàn)場有李開復(fù)等20余位行業(yè)頂級(jí)大咖分享，500余名行業(yè)觀眾參與，超過150萬網(wǎng)友在線收看直播。包括新華社、搜狐科技、澎湃新聞、封面新聞等數(shù)十家主流媒體在內(nèi)紛紛報(bào)道，線上總曝光量累計(jì)超過2000萬。
演講要點(diǎn)
這場疫情，極大地提升了技術(shù)、尤其是智能技術(shù)在產(chǎn)業(yè)中的重要性。
目前，國內(nèi)有上萬部需要被拯救、保護(hù)的膠帶電影。如果利用AI修復(fù)，就可以省去80%的繁復(fù)工作。
愛奇藝為內(nèi)容創(chuàng)作者提供了一個(gè)素材庫，讓他們不再需要去盜版網(wǎng)站找視頻素材。
我們希望降低廣告對用戶的打擾程度，讓廣告也能成為用戶獲取信息的手段。
通過AI，將科技與藝術(shù)進(jìn)行結(jié)合，就能促進(jìn)整個(gè)產(chǎn)業(yè)的升級(jí)發(fā)展。
用AI讓創(chuàng)作者提升效率，讓消費(fèi)者簡單快樂。
（以下為謝丹銘演講分享全文）
疫情加速視頻創(chuàng)作智能化
今天，我演講的題目是“智能時(shí)代的內(nèi)容創(chuàng)作與消費(fèi)”。
在即將過去的2020年里，多數(shù)產(chǎn)業(yè)遭遇較大沖擊，呈現(xiàn)出一個(gè)或深或淺的“V”字型走勢。
演講之前，孟鴻老師問了我一個(gè)問題：愛奇藝和視頻行業(yè)，應(yīng)該會(huì)是疫情的受益者？
其實(shí)不然。
如大家所見，年初由于疫情，很多人在家辦公，加之寒假，我們的消費(fèi)指數(shù)飆升得很高。
但在這之后，上下游和合作伙伴受到疫情沖擊，我們也難以獨(dú)善其身。在疫情期間，由于很多片子無法拍攝，出現(xiàn)了內(nèi)容供給跟不上、廣告預(yù)算大幅減少的情況。
經(jīng)過思考，我們試著將內(nèi)容創(chuàng)作搬到線上，實(shí)現(xiàn)了一個(gè)云錄制系統(tǒng)。
此后，我們利用AR、MR等XR技術(shù)，實(shí)現(xiàn)了虛擬制作，相當(dāng)于搭建一個(gè)虛擬的棚，在棚里進(jìn)行電影、電視劇拍攝。
我們還利用智能化技術(shù)，提升了廣告投放效率，減少了預(yù)算損失。
這場疫情，極大地提升了技術(shù)、尤其是智能技術(shù)在產(chǎn)業(yè)中的重要性。
目前，愛奇藝打造的智能平臺(tái)，主要用于服務(wù)兩部分人群：一部分是上游的內(nèi)容創(chuàng)作者，另一部分是用戶消費(fèi)者。
其中，內(nèi)容創(chuàng)作者主要分為三類。
一類是傳統(tǒng)的長視頻創(chuàng)作者，包括導(dǎo)演、演員和后期制作人員，他們主要?jiǎng)?chuàng)作電影、電視劇、綜藝、動(dòng)漫及兒童動(dòng)畫片等類型的作品。
另兩類則分別是短視頻、小視頻創(chuàng)作者，包括許多MCN（Multi-Channel Network）機(jī)構(gòu)和UGC（User Generated Content）創(chuàng)作者。
那么，如何服務(wù)這些內(nèi)容創(chuàng)作者？
以綜藝節(jié)目為例，愛奇藝最早投入、使用了一個(gè)大型AI綜藝創(chuàng)作系統(tǒng)，名為“愛創(chuàng)媒資系統(tǒng)”。
在綜藝錄制現(xiàn)場，通常會(huì)有五六十個(gè)、甚至上百個(gè)（固定或移動(dòng)的）攝像頭同時(shí)進(jìn)行拍攝，產(chǎn)生大量錄制素材。
這些素材的數(shù)量，是普通視頻素材的幾十倍、甚至上百倍，手動(dòng)處理起來非常麻煩。
但如果用AI來處理這些素材，例如進(jìn)行時(shí)間對齊，就能提升10倍左右的效率。
而利用AI，還能智能化地給素材片段打標(biāo)簽，如用AI識(shí)別音頻中的演員臺(tái)詞、進(jìn)行語義理解，讓導(dǎo)演、后期制作人員能快速檢索到想要的片段。
這些素材中，也有許多待刪減部分，如模糊片段、黑鏡和噪音廢片，也都能用AI快速識(shí)別、處理。
事實(shí)上，最后的視頻成片，并非綜藝現(xiàn)場的原始記錄，而是一種藝術(shù)創(chuàng)作。過程中，素材檢索是非常重要的一環(huán)。
除此之外，AI還能被用于視頻審核、商務(wù)植入和視頻宣發(fā)中。
例如，視頻制作時(shí)，要求某一角色不能露出胡子、紋身，那么我們利用AI，就能快速找到這些不符合要求的內(nèi)容。
在商務(wù)植入時(shí)，也能利用AI可以快速地計(jì)算植入時(shí)長。
至于宣發(fā)階段，也能用AI制作宣傳和預(yù)告片。
例如，用AI學(xué)習(xí)視頻幀的圖案，并快速產(chǎn)出各種各樣的宣發(fā)視頻、預(yù)告片段。
用AI修復(fù)老電影、制作動(dòng)漫
而在電影創(chuàng)作上，愛奇藝也做了一個(gè)名為ZoomAI的視頻增強(qiáng)技術(shù)。
這是一個(gè)AI功能包，能完成去噪、前景提亮、超分辨率、插幀等視頻優(yōu)化算法。
上個(gè)月，我們還和廈門大學(xué)的人文學(xué)院成立了一個(gè)聯(lián)合實(shí)驗(yàn)室，專門修復(fù)像《小兵張嘎》這樣的老電影。
現(xiàn)在，國內(nèi)還有上萬部這樣的膠帶電影，需要被拯救、保護(hù)，如果利用AI修復(fù)，可以減少80%的工作，剩下的20%再交由廈大的同學(xué)，一幀幀手動(dòng)審核修復(fù)。
目前，愛奇藝也已經(jīng)“出海”，將業(yè)務(wù)延伸到了海外。
但無論是東南亞還是歐洲，語言都呈現(xiàn)碎片化特點(diǎn)，在不同的地區(qū)，可能出現(xiàn)多種不同的語言。
例如，僅東南亞一個(gè)地區(qū)，就有印尼語、馬來語、泰語等多種語言。
如果要做一部視頻的海外配音，就需要找各個(gè)角色的、不同語言的配音演員，成本會(huì)非常高。
因此，我們構(gòu)建了一個(gè)AI音色庫，利用Voice Conversion（語音轉(zhuǎn)換）來配音，只需要給每個(gè)角色找一個(gè)“演員”，就能完成所有視頻的配音。
相對來說，TTS（語音合成）無法準(zhǔn)確表達(dá)語氣、語調(diào)，但Voice Conversion卻能用另外一種音色，將情緒很好地表達(dá)出來。
電影之外，還有一個(gè)相對龐大、有前景的產(chǎn)業(yè)，就是動(dòng)漫。
在中國，大概有4億的二次元人群。
我們調(diào)研發(fā)現(xiàn)，動(dòng)漫產(chǎn)業(yè)的創(chuàng)作者，基本還是在用PS等傳統(tǒng)工具進(jìn)行創(chuàng)作。
過程中會(huì)先畫出線框、再完成上色，其中光是上色階段，就占據(jù)工作量的40%~50%。
用AI工具，能幫創(chuàng)作者提升不少效率。
例如，讓創(chuàng)作者指定一種風(fēng)格，比如“賽璐璐”。利用風(fēng)格遷移，AI立刻就能完成“賽璐璐”風(fēng)格的線稿上色。
如果涉及AI沒有學(xué)過的風(fēng)格，也可以先手動(dòng)給關(guān)鍵幀上色，再利用特征遷移，將上色風(fēng)格遷移到其他幀中。
這些操作，能讓線稿上色效率提升80%左右。
上面這些AI操作，是針對傳統(tǒng)、制作精良的動(dòng)漫設(shè)計(jì)的。除此之外，還有一種名為輕動(dòng)漫或者動(dòng)態(tài)漫的動(dòng)漫類型。
這種動(dòng)漫，可以理解為給漫畫加了一點(diǎn)動(dòng)效，讓人物能夠走動(dòng)、說話。
現(xiàn)在，輕動(dòng)漫在網(wǎng)上的傳播量非常大，我們也已經(jīng)能利用AI，制作這種動(dòng)漫。
只需要用AI對動(dòng)漫人物進(jìn)行面部識(shí)別，再做唇形驅(qū)動(dòng)，就能讓人物的嘴巴動(dòng)起來，接近人工制作的效果。
此外，愛奇藝今年還推出了跨次元新星的虛偶選秀節(jié)目。
其中，左邊的“小滿”是虛擬手語主播，右邊的“小又”，則是虛擬節(jié)目主持。
利用TTS和Voice Conversion合成聲音、加上唇形和表情驅(qū)動(dòng)合成口型，就能讓她們開口“說話”。
“小又”上線后非常受用戶歡迎，節(jié)目的播放量也有所提升。
如何用AI創(chuàng)作UGC作品
我們分析發(fā)現(xiàn)，UGC創(chuàng)作的過程，大致可以分為幾個(gè)階段。
首先，用戶會(huì)想出一個(gè)創(chuàng)意，圍繞創(chuàng)意搜集一些素材，根據(jù)素材尋找合適的背景樂，最后在剪輯工具中完成視頻創(chuàng)作。
每個(gè)階段，我們都能用AI幫助創(chuàng)作者減少一定的工作量。
比如，愛奇藝有許多明星的“粉絲視頻”，即粉絲創(chuàng)作的視頻。
要想制作這樣的視頻，只需要利用我們的“一鍵成片”功能，就能用AI分析一部明星出演的電影，并在10秒內(nèi)創(chuàng)作關(guān)于這個(gè)明星的短視頻。
像易烊千璽的粉絲，只需要選擇“易烊千璽”，再選中他出演的電影《少年的你》，點(diǎn)上背景音樂，就能完成粉絲視頻的創(chuàng)作。
這種視頻，也叫“舔屏向”視頻，其中“舔屏”，指喜愛某個(gè)明星到想要舔手機(jī)屏幕的程度。
當(dāng)然，愛奇藝還給內(nèi)容創(chuàng)作者提供了一個(gè)素材庫，不再需要去盜版網(wǎng)站找視頻素材。
我們在隨刻創(chuàng)作APP的素材庫里，利用AI對站內(nèi)的長視頻進(jìn)行內(nèi)容理解，并打好了人物、動(dòng)作、場景等標(biāo)簽。
創(chuàng)作者可以快速找到所需素材，加進(jìn)自己的作品中。
此外，APP也能根據(jù)創(chuàng)作的視頻內(nèi)容，智能推薦較匹配的背景音樂。當(dāng)然，還可以用TTS來配音、或是用ASR給視頻填充字幕等。
有了AI，看視頻變得更簡單
對于用戶消費(fèi)者，我們則希望用智能技術(shù)，為他們提供優(yōu)質(zhì)服務(wù)。
例如，用智能搜索、推薦算法，讓用戶快速找到喜歡的內(nèi)容。
同時(shí)，我們也希望給用戶提供更好的感覺，例如，在視覺和聽覺上，給用戶以高清、流暢的體驗(yàn)感。
此外，我們還想給用戶提供更自然、好玩的互動(dòng)場景。
目前，用戶已經(jīng)能通過語音和手勢，對手機(jī)、平板、筆記本電腦、電視等各種電子設(shè)備上的愛奇藝APP進(jìn)行操作，交互變得更加自然。
但愛奇藝APP覆蓋的設(shè)備，還包括VR頭盔、家庭娛樂設(shè)施及車載APP等，其中，有些設(shè)備無法很好地用鍵鼠、觸控進(jìn)行輸入。
因此，我們做了一個(gè)Home AI的語音交互平臺(tái)，可以做語音識(shí)別。
不僅如此，這個(gè)平臺(tái)還能識(shí)別音色，根據(jù)音色來推薦內(nèi)容。
例如，根據(jù)音色年齡（老人、年輕人或小孩），平臺(tái)能給你推薦相關(guān)的視頻。
同時(shí)，平臺(tái)還可以做一些智能搜索，如根據(jù)知識(shí)圖譜，進(jìn)行劇情智能問答。
還有一個(gè)受小朋友歡迎的功能，即用AI克隆家長的音色、來制作朗讀繪本。
除此之外，AI還能被用于我們的拍攝APP中，包括AI美顏、美妝等。
利用這些功能、加上AI的人臉識(shí)別技術(shù)，我們做了許多有意思的創(chuàng)新，例如一些小游戲。
這是《青春有你》的虞書欣同學(xué)，示范的一個(gè)“吃雞腿”小游戲，用到了五官、輪廓識(shí)別的AI技術(shù)。
當(dāng)她沒吃到雞腿時(shí)，AI就會(huì)在她的輪廓上套個(gè)黑帽子。
除了這些技術(shù)以外，AI還能幫我們“智能查詢”視頻中的信息。
例如，看視頻時(shí)，用戶想知道其中某個(gè)演員叫什么、飾演過什么電影，或是想知道視頻的背景音樂、想了解一段臺(tái)詞的涵義。
因此，我們做了一個(gè)叫“奇觀”的智能識(shí)別平臺(tái)，不僅能識(shí)別視頻中的演員、背景音樂，還能查到臺(tái)詞的意思。
去年，“奇觀”還實(shí)現(xiàn)了“卡通識(shí)別”功能，像《小豬佩奇》里的豬爸爸、豬媽媽，都能識(shí)別出來。
如果在大街上看到一張海報(bào)，還可以用愛奇藝的AR掃一掃，來識(shí)別明星。
用AI，促進(jìn)產(chǎn)業(yè)升級(jí)發(fā)展
在愛奇藝，廣告不僅是一個(gè)變現(xiàn)的手段，也是一種可以消費(fèi)的內(nèi)容。
我們希望，廣告能夠降低對用戶的打擾，成為用戶獲取信息的一個(gè)手段。
針對廣告的個(gè)性化、精準(zhǔn)化，我們今年也做了不少工作。
我們對愛奇藝的站內(nèi)長視頻進(jìn)行了精準(zhǔn)分析，做了兩三千組標(biāo)簽，包括人物、場景、動(dòng)作、行為和轉(zhuǎn)場景等。
這樣，客戶在投放廣告時(shí)，我們就可以根據(jù)他需要的場景，來進(jìn)行定向投放。
例如，某個(gè)視頻中出現(xiàn)了購物場景，我們就可以給用戶投放一個(gè)電商廣告，來降低對用戶的干擾、增加客戶投放效率。
當(dāng)然，還有叫做“Video In”的廣告，也可以用AI來識(shí)別場景，看哪些點(diǎn)位可以用來投放。
例如，想要植入某種藥物廣告。通過AI，我們識(shí)別到視頻中有一張桌子，就可以把這瓶藥放上去。
或是識(shí)別到視頻中有一堵墻，也可以在上面放一個(gè)廣告框、貼上廣告。
這種原生植入的廣告類型，同樣受客戶喜歡。
此外，愛奇藝還會(huì)直播一些如足球、網(wǎng)球等體育節(jié)目，我們會(huì)對其中的直播流進(jìn)行實(shí)時(shí)分析。
如果出現(xiàn)了“高能”場景，如足球進(jìn)球、或是網(wǎng)球得分，我們也會(huì)及時(shí)插播廣告。
這些在精彩時(shí)刻推出的廣告，效果很好。因?yàn)檫@種場景下，觀眾的注意力也會(huì)非常集中。
除此之外，我們也能利用AI，為廣告做不同的個(gè)性化海報(bào)。
針對用戶的特性，我們能讓AI生成各種風(fēng)格的海報(bào)，針對性地進(jìn)行分發(fā)，能極大程度上提高用戶的點(diǎn)擊率。
剛剛提到的這些用戶創(chuàng)作、廣告消費(fèi)的AI功能，只是愛奇藝這個(gè)“智能板圖”中的一部分。
在視頻制作方面，我們也上線了劇本分析、流量預(yù)測等功能，至于內(nèi)容剪輯，也包括智能拆條、智能混剪等AI工具。
在后臺(tái)中，涉及AI的應(yīng)用就更多了，包括AI翻譯、審核等工具，都是各大視頻網(wǎng)站的標(biāo)配。
我們希望通過AI，將科技與藝術(shù)進(jìn)行結(jié)合，來促進(jìn)整個(gè)產(chǎn)業(yè)的升級(jí)發(fā)展。
最后，我用一句話結(jié)束今天的演講：創(chuàng)意讓夢想綻放，科技讓快樂簡單。
這句話，不僅是愛奇藝的使命，也是我們做AI的同學(xué)的夢想和目標(biāo)。
謝謝大家！
