迪士尼研究院聯(lián)合幾所大學(xué)的研究人員撰寫(xiě)的一篇新論文，其描述了一種根據(jù)深度學(xué)習(xí)實(shí)現(xiàn)程序語(yǔ)音動(dòng)畫(huà)的新方法。該系統(tǒng)可以對(duì)人類(lèi)錄音進(jìn)行采樣，并自動(dòng)生成匹配的口型動(dòng)畫(huà)。這種方法的應(yīng)用范圍十分寬廣，比如提高動(dòng)畫(huà)管道的效率，以及通過(guò)實(shí)時(shí)繪制用戶(hù)講話時(shí)的虛擬化身口型動(dòng)畫(huà)來(lái)使社交VR交互更具說(shuō)服力。

迪斯尼研究院，東安格利亞大學(xué)，加利福尼亞理工大學(xué)和卡內(nèi)基梅隆大學(xué)的研究人員撰寫(xiě)了題為“A Deep Learning Approach for Generalized Speech Animation”的論文，其描述了一種已經(jīng)通過(guò)“深度學(xué)習(xí)/神經(jīng)網(wǎng)絡(luò)”方法進(jìn)行訓(xùn)練的系統(tǒng)，通過(guò)單個(gè)揚(yáng)聲器的參考片段(2543句)來(lái)教導(dǎo)系統(tǒng)在各種語(yǔ)音單元(音素)期間應(yīng)該形成的形狀及其組合，時(shí)長(zhǎng)達(dá)8小時(shí)。

經(jīng)過(guò)訓(xùn)練的系統(tǒng)可用于分析來(lái)自任何揚(yáng)聲器的音頻，并自動(dòng)產(chǎn)生相應(yīng)的口形，然后將其應(yīng)用于自動(dòng)語(yǔ)音動(dòng)畫(huà)的面部模型。研究人員表示，該系統(tǒng)獨(dú)立于揚(yáng)聲器，可以“近似計(jì)算其他語(yǔ)言”。

“我們使用了一種簡(jiǎn)單有效的深度學(xué)習(xí)方法來(lái)自動(dòng)生成與輸入語(yǔ)音同步的自然尋像語(yǔ)音動(dòng)畫(huà)。我們的方法使用了滑動(dòng)窗口預(yù)測(cè)器，其能夠準(zhǔn)確捕捉自然運(yùn)動(dòng)和視覺(jué)協(xié)同發(fā)音，學(xué)習(xí)從語(yǔ)音標(biāo)簽輸入序列到口部運(yùn)動(dòng)的任意非線性映射。我們的深度學(xué)習(xí)方法具有以下幾個(gè)吸引人的特性：實(shí)時(shí)運(yùn)行;需要最少的參數(shù)調(diào)整;能很好地歸納新穎的輸入語(yǔ)音序列;容易編輯出風(fēng)格化和情感化的語(yǔ)音;以及兼容現(xiàn)有的動(dòng)畫(huà)重定向方法。”

創(chuàng)建與CGI角色音頻記錄相匹配的語(yǔ)音動(dòng)畫(huà)通常由熟練的動(dòng)畫(huà)師手工完成。盡管這個(gè)系統(tǒng)不能滿足大型CGI制作對(duì)高保真語(yǔ)音動(dòng)畫(huà)的需求，但可以用于這種制作中的自動(dòng)1PASS，或者是在特定情況下添加可接受的語(yǔ)音動(dòng)畫(huà)，例如大型角色扮演游戲中NPC對(duì)話，或者是從語(yǔ)音動(dòng)畫(huà)中受益的低預(yù)算項(xiàng)目(沒(méi)有辦法聘請(qǐng)動(dòng)畫(huà)師)，如教學(xué)/培訓(xùn)視頻，學(xué)術(shù)項(xiàng)目等。

至于VR，這種系統(tǒng)可以在用戶(hù)說(shuō)話時(shí)實(shí)時(shí)動(dòng)畫(huà)化虛擬化身的口型，從而使得社交VR角色變得更加逼真。真正的口型追蹤(光學(xué)或其他)是制作虛擬化身語(yǔ)音動(dòng)畫(huà)的最準(zhǔn)確方法，但在口型追蹤硬件變得普遍之前，這樣的程序語(yǔ)音動(dòng)畫(huà)系統(tǒng)可能是一種有效的權(quán)宜之計(jì)。

一些社交VR應(yīng)用已經(jīng)在使用各種系統(tǒng)實(shí)現(xiàn)語(yǔ)音動(dòng)畫(huà)，比如Oculus為Unity提供了一個(gè)唇形同步插件，基于音頻輸入來(lái)制作虛擬化身的口型動(dòng)畫(huà)。然而，這種基于深度學(xué)習(xí)的新系統(tǒng)似乎提供了非常高的準(zhǔn)確性和細(xì)節(jié)度。

新浪聲明：新浪網(wǎng)登載此文出于傳遞更多信息之目的，并不意味著贊同其觀點(diǎn)或證實(shí)其描述。