讓霉霉中文開口跪”的AI有開源平替了！每月立省350（doge）
郭德綱用英語(yǔ)說(shuō)相聲
豐色 發(fā)自 凹非寺
量子位|公眾號(hào)QbitAI
能讓霉霉中文開口跪、郭德綱用英語(yǔ)說(shuō)相聲的那個(gè)AI——
有開源平替了！
這是用它讓羅翔進(jìn)行英文普法的效果，張三李四“要素齊全”：
以及英文講人生哲理“你的內(nèi)心有沒有幽暗的成分”（cr: line xiongjie lin）：
相比起來(lái)，雖然和原產(chǎn)品（也就是HeyGen）有一點(diǎn)差距，但是網(wǎng)友的評(píng)價(jià)是：
也還可以。
主要有了它，咱們?cè)诒镜鼐湍軣o(wú)限玩視頻翻譯，直接好處那可就是每月立省350～（手動(dòng)狗頭）
畢竟，HeyGen再厲害，也只有2分鐘免費(fèi)時(shí)長(zhǎng)。
具體瞧瞧。
HeyGen開源平替來(lái)了
這個(gè)視頻翻譯平替名叫MyHeyGen，來(lái)自b站UP主：@ai浮世繪。
他的首頁(yè)里還有很多效果展示，比如這個(gè)新鮮出爐的“這英”。
除了英文，MyHeyGen還支持轉(zhuǎn)法語(yǔ)、日語(yǔ)等共計(jì)16種語(yǔ)言。
視頻翻譯的三個(gè)流程：音頻翻譯、翻譯校正和視頻唇紋合成，它全部一個(gè)流程解決。
如果你想親手試試，步驟也不復(fù)雜。
大概流程是先環(huán)境準(zhǔn)備：
需要分別去Huggface申請(qǐng)個(gè)token、去百度翻譯申請(qǐng)個(gè)AppKey，并下載權(quán)重和checkpoints文件。
然后就可以git clone安裝了。
開始測(cè)試之前，記得將你要翻譯的視頻下載保存到本地。
然后在執(zhí)行命令中提供其保存路徑+想要翻譯成的語(yǔ)言代碼（比如’en’代表英語(yǔ)）+翻譯好的視頻保存路徑就可以坐等了。
命令的完整格式如下：
python translate.py 原視頻文件路徑 目標(biāo)語(yǔ)言代碼 -o 保存路徑
有網(wǎng)友實(shí)測(cè)成功：
不過(guò)，還是必須得滿足16G顯存才ok，以及windows用戶可能需要自己再解決一下兼容問題（up主該視頻底下有人提供了方法）。
如果這些都不行，可以再等等colab實(shí)現(xiàn)，up主表示在測(cè)試中了。
效果方面，可以發(fā)現(xiàn)MyHeyGen音色復(fù)刻得很是到位，用了最新的語(yǔ)音克隆開源技術(shù)XTTS v2。
投喂給AI一個(gè)明星的采訪視頻，它就能克隆其中的聲音講不同的話。
這是推特博主@Gorden Sun用霉霉的聲音測(cè)試的一個(gè)效果：
，時(shí)長(zhǎng)00:10
至于MyHeyGen的缺點(diǎn)，大家看完表示也明顯。
比如有人反映口形有一些不同步，有人則吐槽遇上面部大幅活動(dòng)就容易“抽風(fēng)”（如本段開頭的“這英”）等等。
但整體玩一玩還是ok的。
One More Thing
仔細(xì)一翻，HeyGen的開源替代品還真不少。
有俄羅斯程序員也在業(yè)余時(shí)間做了一個(gè)：HeyGenClone。
用的是谷歌翻譯，可以支持上百種目標(biāo)語(yǔ)言，但只支持原語(yǔ)言為英文的視頻。
由于只給了一個(gè)很短的俄語(yǔ)效果展示，不是很好評(píng)鑒，這里就不放視頻了～
參考鏈接：
[1]https://twitter.com/dotey/status/1722543725459452211
[2]https://twitter.com/gorden_sun/status/1722439866112463163
- 英偉達(dá)最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團(tuán)隊(duì)打破圖靈獎(jiǎng)得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時(shí)代！納米AI多智能體蜂群，可創(chuàng)作最長(zhǎng)10分鐘AI視頻2025-08-06
相關(guān)閱讀
網(wǎng)易有道推出輕量級(jí)推理模型“子曰-o1”，更小規(guī)模實(shí)現(xiàn)更強(qiáng)推理效果
14B小參數(shù)復(fù)現(xiàn)OpenAI o1強(qiáng)推理效果，消費(fèi)級(jí)顯卡即可部署
