最近，霉霉說地道中文的視頻在全網瘋傳。
沒有機械的翻譯腔，霉霉用自然而地道的語氣講述自己最近的游歷，甚至連嘴型都卡點對上，效果堪稱絕絕子。
還沒有看過視頻的小伙伴們，原視頻奉上
視頻作者表示，想要做出效果這樣的視頻，其中有三個很重要的因素:掌握地道的口語翻譯、語音克隆和替換嘴型，但沒有提到具體用到的模型。
 看到視頻效果如此好，不少網友就開始試圖找到“復刻之法”。
一位網友就表示需要至少三步才能達到這種效果，Whisper識別、Tortoise-TTS合成帶原始說話人音色的語音、Wav2lip換嘴型。
視頻火了之后，吸引了更多人開始嘗試，其中背后一款AI工具也被網友迅速扒出。
這不扒不知道，一扒嚇一跳，這個工具竟然還是來自國內的一個初創團隊搞的。
全網爆火，HeyGen被網友瘋玩
全網火爆，網友紛紛動手玩了起來。
網友Gorden Sun也復刻了一段霉霉說中文的視頻，在排隊等待7000個視頻后，用HeyGen制作的視頻翻譯終于完成了。并直言:“效果*目前*，沒有之一”。
從視頻可以看到，無論是口型*，卡點和嘴型都對的。
不過作者也表示，雖然聲音克隆稍有缺陷，畢竟HeyGen只通過40秒的視頻來克隆音頻，如果刻意對比原視頻，情感還原度稍有欠缺。
HeyGen雖然可以免費試用，但只能生成1分鐘時長視頻，且生成需要等待很長時間，而付費版*的也要24美元/月。因此，就有熱心網友貼出了如何用開源的工具，做出和HeyGen生成效果同樣的視頻。
比如，語音轉文字whisper、文字翻譯GPT、聲音克隆+生成音頻so-vits-svc、生成符合音頻的嘴型視頻GeneFace++。
除了這種中英互譯的視頻，HeyGen在外網也是一片火爆景象，各種玩法都有。
比如，這位網友就用HeyGen制作了說6種不同語言的視頻。
HeyGen火爆程度可見一斑，而近日根據推特上一位分析師Will的統計顯示，今年8-9月，各大文生圖類AI網站的訪問量均開始呈現下降趨勢，但HeyGen的訪問量卻上升了92%，流量躍居各大獨立AI網站之首。
圖源:網友Will推特
那么，這個被眾多網友狂推，成為AI獨立網站之首的HeyGen，到底是什么來頭？
國內創業團隊，7個月收入百萬美元
2020年12月，HeyGen的背后玩家“詩云科技”在深圳成立。
據36氪此前報道，公司成立之初，就以“用AI生成內容，讓用戶以更低成本完成內容創作”為愿景，已獲得來自紅杉中國、真格基金等風投們累計近千萬投資。
HeyGen要做AI視頻創作領域的Midjourney，在團隊方面竟也有一些相似之處。目前，HeyGen的團隊只有大概30人，分布在全球各地，以遠程辦公形式進行合作。
HeyGen的前身，一款名為“Movio”的AI視頻翻譯平臺，背后所依靠的模型是自家的多模態內容生成引擎“Surreal Engine”。
2022年7月，詩云科技推出多模態內容生成引擎Surreal Engine，將內容生產分為Understanding、Framing(視框化)、Rendering(渲染)三個步驟。區別于市面上的兩大3D內容創作巨頭:Epic Game的Unreal Engine和Nvidia的Omniverse，Surreal Engine讓普通人也可以輕松進行高維度、可交互的內容創作。
得益于此，HeyGen的最新版本Joshua Avatar 2.0在實時生成人物視頻方面逼真度方面表現出色。
這不，連公司創始人都親自上陣打廣子了～
不僅如此，HeyGen的產品正式上線后的一年不到，創始人Joshua Xu就發表博文表示:HeyGen在7個月內實現了100萬美元的ARR，并保持連續9個月50%的月環比增長率。
目前，HeyGen可以支持50多種語言和300多種不同的音色，用戶可以上傳自己的照片進行個性化形象定制，HeyGen也貼心地為用戶提供了上百款數字人素材和模板。
盈利模式方面，HeyGen主要依靠C端客戶付費，視頻生成付費模式分為“創作者和商務(Business)”兩種，*24美元/月。也支持“聲音克隆、人像精調”單獨付費。未來將逐步開放API接口、團隊協作和企業功能。
HeyGen可以基本保證1080P的分辨率，滿足廣告、電商、新聞等行業的需求，還能幫助用戶制作PPT。此外，HeyGen還提供了文本轉視頻、音頻上傳、視頻分享和多種場景視頻等功能。
當然，HeyGen還處在成長期，并不是*的。目前，一些技術問題還會存在——比如生成的AI視頻存在視頻抖動、眨眼頻率過高等問題。
不過，HeyGen目前正在趁著這一熱度全力沖刺。上周四，HeyGen就在一場線上會議中展示商業版本的各項新功能——商業用戶可以用HeyGen生成長達3小時的內容，畫質最高可提升至4K，這一切工作都可以在新上線的并排腳本編輯器、集成的校對模塊中進行。
鄭重聲明：此文內容為本網站轉載企業宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。
|
