智東西（公眾號(hào)：zhidxcom）
編輯?| ?GTIC
智東西4月13日?qǐng)?bào)道，在剛剛落幕的GTIC 2023中國(guó)AIGC創(chuàng)新峰會(huì)上，快手MMU自然語(yǔ)言處理中心、音頻中心負(fù)責(zé)人張富崢進(jìn)行了主題為《AIGC在快手的探索和應(yīng)用》的演講。
短視頻場(chǎng)景存在包括短視頻、直播、商業(yè)化廣告、電商商品在內(nèi)的海量復(fù)雜內(nèi)容形態(tài)，對(duì)AIGC技術(shù)有廣泛的需求。
快手MMU自然語(yǔ)言處理中心、音頻中心負(fù)責(zé)人張富崢通過(guò)演示AI生成數(shù)字人、智能音樂生成、一鍵成片的最新案例，分享了快手在AIGC的探索和應(yīng)用。
張富崢說(shuō)：“AIGC基于創(chuàng)作者的想法來(lái)進(jìn)行內(nèi)容輸入，再通過(guò)AI技術(shù)合成內(nèi)容?！笨焓滞ㄟ^(guò)平臺(tái)引擎、基礎(chǔ)設(shè)施、AI原子能力、AIGC解決方案、落地場(chǎng)景等多方面布局了AIGC。
據(jù)張富崢介紹，在數(shù)字人的應(yīng)用中，用戶只用簡(jiǎn)單輸入文字，5分鐘內(nèi)就能生成具備精確口型、豐富表情/動(dòng)作的專屬數(shù)字人，能用于知識(shí)分享、電商帶貨、行業(yè)招聘等多個(gè)場(chǎng)景。
在智能音樂方面，用戶可以輸入指定的主題詞等信息，AI就能生成押韻且與主題詞相關(guān)的歌詞、旋律，AI歌手等應(yīng)用也已接近真人的歌唱水平。
在視頻制作方面，快手旗下視頻軟件快影的“一鍵成片”功能日均消費(fèi)量超4.5億，文案成片日均作品消費(fèi)量超4000萬(wàn)。
以下為張富崢的演講實(shí)錄：
大家上午好！我是張富崢。
非常感謝主辦方邀請(qǐng)我來(lái)跟大家做分享，前面的老師和嘉賓也講到行業(yè)上最近確實(shí)出現(xiàn)了很多顛覆性的變化與進(jìn)展，無(wú)論是文本大模型、多模態(tài)大模型，還是以此催生出來(lái)的最近的AIGC浪潮，都確確實(shí)實(shí)給技術(shù)行業(yè)包括工業(yè)界帶來(lái)了非常多的變化。
在這個(gè)進(jìn)程中，快手作為一家短視頻公司，我們也一直在做相關(guān)的研發(fā)和響應(yīng)的業(yè)務(wù)應(yīng)用。今天非常榮幸在這里跟大家分享AIGC在快手里有哪些階段性的成果。??
首先，跟大家簡(jiǎn)單介紹一下AIGC的概念，AIGC本質(zhì)上基于底層的文本大模型或是多模態(tài)大模型，能用AI的方式自動(dòng)生成各式各樣的內(nèi)容，包括文字內(nèi)容、圖片內(nèi)容、語(yǔ)言內(nèi)容、多模態(tài)視頻內(nèi)容等，這些內(nèi)容的生成方式可能與傳統(tǒng)的UGC（用戶生成內(nèi)容）或是專業(yè)的PGC（專業(yè)生成內(nèi)容）相比，確實(shí)能做得很好。
以前的任何一種方式很難在成本和質(zhì)量之間做到兼顧，要么是質(zhì)量很高的PGC，但是成本難以接受，能產(chǎn)生的影響相對(duì)來(lái)說(shuō)較小，也只有非常頭部的機(jī)構(gòu)才能去制作這些高質(zhì)量的內(nèi)容。
在移動(dòng)互聯(lián)網(wǎng)時(shí)代，網(wǎng)絡(luò)信息中有很多的UGC內(nèi)容，這些UGC內(nèi)容的覆蓋面非常廣，量也足夠多，但是很多場(chǎng)合下的質(zhì)量不夠高。所以通過(guò)AIGC方式，無(wú)論是ChatGPT還是大家目前所看到的各種以文生圖的方式，能生成很多質(zhì)量非常高的圖片，再加上完全自動(dòng)化的機(jī)器生成方式，我們能在質(zhì)量和成本之間做到同時(shí)兼顧。這也證明AIGC確實(shí)蘊(yùn)含著巨大的機(jī)會(huì)。
快手在整個(gè)AIGC從賽道上會(huì)有很多的布局，我們可以看到，無(wú)論是AIGC的能力，還是大語(yǔ)言模型的能力，本質(zhì)上是一系列工作的整合，從底層的訓(xùn)練平臺(tái)、云原生服務(wù)架構(gòu)，再往上會(huì)有更多的基礎(chǔ)設(shè)施，以及AI原子能力和AIGC解決方案，比如視頻創(chuàng)作、智能音樂生成、虛擬人等等。
有了這些AIGC解決能力之后，我們就能更好地服務(wù)各個(gè)應(yīng)用場(chǎng)景，包括快手內(nèi)部幫助內(nèi)容生產(chǎn)者制造出更好的視頻內(nèi)容，幫助電商場(chǎng)景更好地進(jìn)行主播帶貨等等。
今天我主要跟大家分享快手在AIGC領(lǐng)域的3個(gè)階段性成果：數(shù)字人、智能音樂和視頻生成。
一、數(shù)字人：模擬人類表情神態(tài)，適用于知識(shí)分享、直播帶貨等場(chǎng)景
第一個(gè)是數(shù)字人的場(chǎng)景。
數(shù)字人是通過(guò)機(jī)器產(chǎn)生人格化的內(nèi)容表達(dá)的典型應(yīng)用，我們知道，真人主播在很多場(chǎng)景下還是會(huì)有門檻，比如主播的時(shí)間、主播的表達(dá)方式等，對(duì)于很多商家和個(gè)人創(chuàng)作者而言，它都有一個(gè)進(jìn)入門檻。我們希望通過(guò)數(shù)字人的方式，幫助商家去更好地創(chuàng)作視頻，包括直播的內(nèi)容等。
大家可以看我們現(xiàn)在應(yīng)用的例子，主要包括知識(shí)類、招聘類和電商類三種數(shù)字人主播。
知識(shí)類數(shù)字人主播能為用戶介紹知識(shí)類視頻，此外，快手短視頻中有很多招聘的業(yè)務(wù)場(chǎng)景，招聘類數(shù)字人主播可以滿足大量的用工需求，找到相應(yīng)的求職者。在招聘場(chǎng)景中，真人主播的數(shù)量是遠(yuǎn)遠(yuǎn)不夠的，數(shù)字人主播就能幫助求職者和企業(yè)之間進(jìn)行很好的連接。
另外一個(gè)是非常典型的電商場(chǎng)景，數(shù)字人主播能詳細(xì)介紹商品內(nèi)容，還具備實(shí)時(shí)互動(dòng)的能力，能夠觀眾進(jìn)行交互。
數(shù)字人主播呈現(xiàn)出來(lái)的效果代表著非常典型的AIGC能力，有表情、動(dòng)作的驅(qū)動(dòng)，這種驅(qū)動(dòng)本質(zhì)上就是從輸入的文字信息去生成圖片信息的方式。這其中也包括劇本創(chuàng)作，創(chuàng)作者、商家甚至不需要向數(shù)字人提供文案，只用告訴幾個(gè)關(guān)鍵詞，它就能寫一段商品介紹，還能根據(jù)劇本創(chuàng)作的方式輸出內(nèi)容，包括智能交互、畫面渲染、語(yǔ)言合成等AIGC相關(guān)技術(shù)。
接下來(lái)我主要和大家分享表情生成這個(gè)模塊。
大家可以看到，表情生成的技術(shù)就是要通過(guò)文本去生成虛擬人、數(shù)字人的圖像，而且這種圖像還要能隨著視頻流的推進(jìn)，自然得像真實(shí)的人類主播一樣，嘴型、面部表情能動(dòng)起來(lái)，而這其中有非常多的技術(shù)挑戰(zhàn)。
挑戰(zhàn)之一是我們的錄制數(shù)據(jù)量少。這和大模型一樣需要以預(yù)訓(xùn)練作為技術(shù)底座，用海量數(shù)據(jù)來(lái)訓(xùn)練一個(gè)高質(zhì)量的模型，再根據(jù)具體的業(yè)務(wù)場(chǎng)景需求來(lái)進(jìn)行微調(diào)，以達(dá)到一個(gè)比較好的效果狀態(tài)。其中還包括一些實(shí)時(shí)性，整體上要保證快速交付，以天級(jí)別來(lái)完成數(shù)字主播的復(fù)刻，并保證數(shù)字人的形象、動(dòng)作、語(yǔ)音都屬于比較自然的狀態(tài)。
目前數(shù)字人已有不少進(jìn)展。核心亮點(diǎn)在于我們能提供不同的需求場(chǎng)景，分為大眾化和專業(yè)定制兩種版本，適配不同類型的用戶。對(duì)于大眾化的版本，如果用戶對(duì)于質(zhì)量要求不算特別高、不是一點(diǎn)小瑕疵都不能接受的話，就僅僅只需要拍攝五分鐘的素材，就能根據(jù)素材來(lái)自定義自己的數(shù)字人主播。即使是特定的專業(yè)場(chǎng)景，也只需要20分鐘來(lái)生成高質(zhì)量的數(shù)字人主播。
這些技術(shù)已經(jīng)應(yīng)用到快手的各個(gè)場(chǎng)景當(dāng)中，比如知識(shí)類主播、電商、招聘場(chǎng)景等都已經(jīng)廣泛應(yīng)用。
二、智能音樂：歌詞、旋律自動(dòng)生成，AI歌手仿真演唱
下面主要跟大家分享一下AIGC智能音樂的創(chuàng)作。
對(duì)于一家短視頻公司而言，音樂是很重要的一個(gè)部分。當(dāng)前音樂行業(yè)的典型制作流程非常流水線化，里面包含很多個(gè)模塊，比如音樂人最開始有自己的動(dòng)機(jī)，這種動(dòng)機(jī)包括它腦海中想到的旋律、節(jié)奏或是這個(gè)音樂應(yīng)該表達(dá)出來(lái)的情緒。用這種原始的想法來(lái)進(jìn)行一些專業(yè)的分工，比如作詞人怎么根據(jù)情緒、節(jié)奏來(lái)做一首合適的歌詞，作曲人怎么根據(jù)歌詞、節(jié)奏旋律來(lái)編曲，還包括后面的混錄等等，整個(gè)流程都非常的流水線化。
其中的很多環(huán)節(jié)都可以通過(guò)AI來(lái)幫助創(chuàng)作者去提高效率，甚至在場(chǎng)景下實(shí)現(xiàn)完全自動(dòng)化。歌詞可以用AIGC來(lái)自動(dòng)生成，我們只需要給它輸入指定信息，如這首歌的歌名、主題等。它最后生成的歌詞還能滿足歌詞中的很多限制，比如最后一個(gè)詞需要滿足押韻的條件，通過(guò)AIGC技術(shù)能夠很好地實(shí)現(xiàn)這樣的效果。
那整個(gè)歌詞生成技術(shù)的細(xì)節(jié)，要通過(guò)什么樣的AI技術(shù)可以達(dá)到效果呢？
我們使用的是類似大模型的方式。雖然目前階段沒有到千億以上的這種規(guī)模，但是已經(jīng)可以通過(guò)類似方式，通過(guò)海量數(shù)據(jù)獲取、多階段預(yù)訓(xùn)練和微調(diào)模式來(lái)這些技術(shù)。其中，包括歌詞領(lǐng)域中很多限制類知識(shí)我們也添加了進(jìn)去，通過(guò)Transformer去把歌詞一個(gè)一個(gè)的產(chǎn)生出來(lái)。
音樂制作除了制作歌詞，還需要制作旋律，而且旋律在其中尤為關(guān)鍵。
所謂旋律，按照自然語(yǔ)言的思路來(lái)看，其本質(zhì)上也是一種序列，只是序列中有特定的高低音關(guān)系和節(jié)奏關(guān)系，每個(gè)歌詞由音高和音低的組合，使得大家聽上去能感受到一種旋律的節(jié)奏信息。
我在這里舉兩個(gè)通過(guò)AIGC生成的節(jié)奏的例子。通過(guò)輸入慢節(jié)奏關(guān)鍵詞來(lái)生成一段旋律時(shí)，旋律是比較舒緩地，當(dāng)輸入快節(jié)奏的關(guān)鍵詞，它又能生成節(jié)奏更加快的旋律。當(dāng)然，當(dāng)我們給它更多的關(guān)鍵詞時(shí)，它又能生成更加復(fù)雜的、符合用戶需求的旋律。
整個(gè)旋律生成的技術(shù)框架本質(zhì)上其實(shí)和歌詞生成很類似，只是輸入和模型的細(xì)節(jié)會(huì)有很多不同。怎么得到一段旋律？有很多種方式，識(shí)別、轉(zhuǎn)錄已有的曲譜等就能得到旋律的數(shù)據(jù)信息。
快手有個(gè)典型例子，通過(guò)旋律生成、歌詞生成，最后讓專業(yè)的歌手來(lái)演唱這首歌。我們輸入了主題信息，然后它輸出對(duì)應(yīng)的歌詞，有了這些歌詞之后再找到一個(gè)真實(shí)的專業(yè)歌手來(lái)演唱，之后再進(jìn)一步基于這個(gè)演唱來(lái)改寫旋律。最終得到的成品是由AI生成的歌詞和旋律，但是是由專業(yè)歌手唱出來(lái)的。
唱歌其實(shí)本身也是一件有高門檻的事情，要求人有很高的天賦。我們也希望讓AI歌手來(lái)唱歌，并在很多場(chǎng)景中幫助到我們的專業(yè)歌手，還要能為用戶在真實(shí)的短視頻創(chuàng)作中提供幫助。AI歌手的技術(shù)也是輸入歌詞和旋律信息之后，用AI的方式去產(chǎn)生歌手的合成聲音。
這里也可以舉個(gè)例子。快手內(nèi)部的AI歌手張鳳琴，她有自己極具代表性的兩首歌，一首是古典的、慢節(jié)奏的舒緩風(fēng)歌曲，另一首則更加現(xiàn)代，節(jié)奏比較快。
歌唱合成技術(shù)的技術(shù)底座也是通過(guò)類似序列生成的方式產(chǎn)生的，只是在聲學(xué)模型中要更加復(fù)雜一些，我們輸入歌詞及旋律，通過(guò)聲學(xué)模型得到一些更符合真人歌唱的特征，基于這些特征，通過(guò)解碼器、編碼器將AI的聲音用語(yǔ)音合成的方式生產(chǎn)出來(lái)。
三、一鍵成片、文字成片：分享生活場(chǎng)景，用戶創(chuàng)作量高達(dá)百萬(wàn)
第三部分，想和大家分享一下視頻創(chuàng)作。
視頻創(chuàng)作對(duì)于快手這樣的短視頻公司確實(shí)是非常關(guān)鍵的。我們也有一些階段性的進(jìn)展。目前的視頻創(chuàng)作方式還不是每個(gè)畫面、視頻流都完全用AI圖片來(lái)生成的，我們現(xiàn)在的技術(shù)是通過(guò)找到一些匹配的圖片并將它們連接起來(lái)，串聯(lián)成為一個(gè)視頻。
第一個(gè)場(chǎng)景是一鍵成片功能，這是在我們的APP快影中上線的一個(gè)功能，用戶可以選擇自己相冊(cè)中的幾張相片，點(diǎn)擊一鍵成片功能，生成右邊這樣的結(jié)果。一鍵成片還能把不同的圖片關(guān)聯(lián)起來(lái)，生成與之相對(duì)應(yīng)的音樂，能滿足用戶對(duì)于這些場(chǎng)景的創(chuàng)作需求。這個(gè)功能上線之后，很多用戶都在使用，每天的作品創(chuàng)作數(shù)都在百萬(wàn)以上，日均消費(fèi)量4.5億以上。
文案成片功能比上一個(gè)功能還要再更進(jìn)一步。
前面的功能還需要用戶自己選一些特定的圖片，文案成片只需要用戶告訴它一些文字信息，來(lái)表達(dá)自己當(dāng)前的思想、情感，它就能幫用戶創(chuàng)作出來(lái)與之匹配的視頻。文案成片這個(gè)功能每天的作品量在10萬(wàn)以上，每天消費(fèi)量在4千萬(wàn)以上。
通過(guò)這些方式，能幫助快手這樣一家短視頻公司更好地去服務(wù)創(chuàng)作者，服務(wù)消費(fèi)者。
我和大家分享的內(nèi)容到此結(jié)束，謝謝大家！
以上是張富崢演講內(nèi)容的完整整理。
