數字分身賦能內容創作 【一視同人】一鍵實現文字轉音視頻
2022年4月,倒映有聲(杭州倒映有聲科技有限公司)旗下數字分身內容創作平臺【一視同人】完成3.0版本升級。只需輸入文字,就可以在該平臺上利用數字分身IP生成音頻和視頻,從而賦能內容創作,是國內首個TTSA(基于文本和語音合成實時生成音頻和視頻)技術落地應用平臺。【一視同人】數字分身內容創作平臺既有知名人士數字分身IP、也有大量通用服務型數字分身IP以及動漫類數字分身IP供用戶選擇,用戶無需拍攝、錄制、剪輯,就可以在平臺上一鍵實現文字到音頻和視頻內容的轉化。
一鍵實現文字轉音視頻 賦能內容創作
在各大巨頭紛紛布局元宇宙、虛擬數字人概念的時候,尋找可實現場景化落地的技術與工具產品,成為了掘金千億藍海市場的“定海神針”。早在2019年倒映有聲團隊就已經研發并上線了相關落地應用平臺;2021年5月開放文字轉音頻功能投入市場,獲得業內頭部企業用戶交口稱贊;因市場時機契合與行業需求井噴,【一視同人】數字分身內容創作平臺的文字轉視頻功能于近日面對用戶開放,滿足用戶多種風格內容制作需求。
傳統的音視頻內容制作,需要涉及腳本撰寫、錄音或攝像設備支持、配音員或演員參與錄制、專業人員現場拍攝、音視頻剪輯等環節,至少需要一個團隊配合來完成,制作單支音頻或視頻的時間成本與財務成本均較高。在【一視同人】數字分身內容創作平臺,只需上傳文字,選擇風格匹配的數字分身IP,就可以生成帶有生動形象的視頻,覆蓋內容播講、直播帶貨、品牌宣傳等諸多場景。一個運營者就可以完成從音視頻策劃到輸出的環節,既提高了內容制作效率,又降低了制作成本,充分滿足互聯網時代對內容制作時效性的高頻需求。同時,用戶可以在線完成支付流程,智能便捷化操作更進一步將【一視同人】的平臺屬性放大。
自研TTSA技術國內首落地應用以數字分身構建虛擬世界基礎
數字分身(Avatar)與虛擬人(Virtual Human)略有概念和制作技術上的不同。虛擬人在現實世界中并不存在,其身份、性格、行為特點均是虛構的,它所呈現的外觀和行為是對人類的模仿。關于數字分身的技術邏輯,倒映有聲創始人兼CEO肖朔介紹說,在【一視同人】數字分身內容創作平臺上的數字分身IP(除動漫類IP之外),是對現實世界中人物聲音與形象的復刻;通過倒映有聲的技術“四駕馬車”——TTSA(基于文本和語音合成實時生成音頻和視頻)、ETTS(富情感語音合成)、NLU(自然語言理解)、Digital Twins(數字孿生),僅需15分鐘音畫同步數據,就可以實現數字分身打造;而數字分身的身份與人設設定,既可以是完全復刻現實世界的人物,也可以進行一定藝術化包裝;與現實世界擁有映射關系的數字分身,是構成和通往虛擬世界的基礎。
倒映有聲自研的TTSA(Text to Speech & Animation)技術即基于文本和語音合成實時生成音頻和視頻,具有文本語音雙驅動、更加擬真、多模態交互三大特性,最終實現數字分身的音畫生成,自主驅動和交互。通過語音+圖像生成技術,并結合自然語言理解技術,生成數字分身的唇形、表情、動作、肢體姿態,創造自然、流暢、高擬真度的數字分身IP。
在【一視同人】數字分身內容創作平臺上的數字分身IP,既能實現有情感的語音,也能做出自然的嘴型表達,并做出細節表情:高興、憤怒、生氣、沮喪等,實現面部五官的靈動表達。同時,根據語義理解,可以在交流中配合語音表達,做出豐富的肢體動作,如揮手、攤手、點頭、皺眉等,解決當下虛擬數字人表情肢體僵硬、單一的問題,更加接近真人。用戶可通過語音、文本、攝像頭等多種方式,和數字分身進行交互;同時數字分身也會通過語音、文本、視頻動畫等多種方式進行交互反饋,可以適配更多的場景和應用。
布局數字分身IP生態 高擬人交互落地更多應用場景
據倒映有聲創始人兼CEO肖朔介紹,【一視同人】數字分身內容創作平臺將陸續開放兩大能力:交互能力與數字分身IP自助制作能力,最終構建一個完整的數字分身IP生態。用戶除了在平臺上完成內容創作、產出播報型內容之外,還能利用數字分身實現交互,從而落地電商帶貨、客戶服務、市場廣告營銷等應用場景。另外,用戶也可以在平臺上完成數字分身自助制作,只需極短時間即可打造個性專屬數字分身,接軌虛擬世界的同時,在平臺上實現數字分身IP交易。
據了解,倒映有聲(杭州倒映有聲科技有限公司)是一家以技術為核心的創新型公司和無人驅動數字分身技術解決方案供應商,通過獨創TTSA技術,基于文本實時生成高質量語音(音頻)和動畫(視頻),實現無人驅動數字分身的行業技術突破。倒映有聲旗下擁有【一視同人】數字分身內容創作平臺和有聲讀物制作交易平臺等應用產品平臺,覆蓋媒體播報、有聲讀物制作、互動游戲、虛擬直播、娛樂等應用場景,滿足用戶降本增效的需求,促進企業業務形態創新和增長,構建以無人驅動數字分身為載體的虛擬世界新生態。
根據量子位《虛擬數字人深度產業報告》數據預計,到2030年我國虛擬人整體市場規模將達到2703億元人民幣。【一視同人】數字分身內容創作平臺的出現,既實現了TTSA技術的國內首次落地應用,拉近大眾與虛擬世界的距離,也是其背后的團隊倒映有聲在千億藍海市場中為自己開辟的一條快車道。