我用 OmniVoice 给视频配音,结果顺手修了个小 bug
韩译英老是失败。原来是个 bug,于是我和 Claude 一起打开代码把它修好了,作者还把它合并了进去。
这次我试了 OmniVoice,一个开源的配音工具。
我在我的 MacBook Air 上跑的,它装起来,比我之前试过的那些开源工具都要省事得多。这听上去可能没什么,但对我来说是件大事。说真的,装开源工具挺难的,所以光是把一个东西跑起来,就已经算成了一半。
这是我想配音的那段视频,一小段韩语素材,OmniVoice 还没动它之前的样子:
原始:我想配成英语的那段韩语视频
跑起来之后,我先试了英译韩,没问题。于是我反过来试韩译英,结果这回每一句都报错。再跑一遍还是一样。一开始我以为是同时开了太多别的东西,就把其他全关了再试。还是失败。
这时候我打开了日志。问题是,我不是开发者,所以就算盯着日志看,我也看不出到底哪儿出了错。于是我把它给 Claude 看,问它出了什么事、我该怎么修。
我俩一起琢磨出来的,大概是这么回事。这工具里有一步,会听一遍音频、判断是哪种语言,而对我这段视频,它判断对了。日志里甚至写着:以 98% 的把握检测到了韩语。所以它分明是知道的。可等流程走到翻译那一步,这条信息却不见了。既然找不到源语言,代码就按「拿不准时怎么办」的默认设定,干脆当成了英语。于是它想把英语翻译成英语,可世上根本没有英译英的翻译包,结果每一句都死在了同一个报错上。它本来知道这视频是韩语,结果下一步就忘了。
弄懂这点之后,我和 Claude 钻进代码,找到了它退回去默认当成英语的那个地方。我们在那儿加了一道小小的保险:要是拿不准是什么语言,就去看字幕里的文字,判断是哪种语言。(是韩文就当韩语,日文、中文这些也是一样的思路。)
有一件事差点把我逼疯。每次我改完代码、重新打开应用,我的改动就这么没了。过了好一阵我才反应过来:这应用每次启动,都会把自己的代码从头重写一遍,所以我一直改的,其实是个错的副本。等我找对了地方再改,它才终于留住了。
之后我又跑了一遍,韩译英成了。
我琢磨着,别人多半也会撞上我遇到的同一个麻烦,于是我把它发到了 GitHub 上,既开了 issue,也提了一个 pull request。提那个 pull request,本来只是抱着「万一真被采纳了呢」的一丝侥幸。结果 OmniVoice 真的把我的修改收了进去!我又不是开发者,只是个喜欢 AI 配音的人,能给别人的代码出上一份力,让我真的特别开心。
你可以在 GitHub 上看到:我开的 issue,还有被合并的 pull request。
最后出来的效果是这样:
OmniVoice:韩语 → 英语配音,克隆了原声
老实说,这结果我还是不太满意。竖起耳朵仔细听,能听见有几句话的开头,漏出来一点点韩语。但语音克隆是真的好。到现在我也试了好几个开源配音工具了,还没见过哪个能把原说话人的声音学得这么像。我打算怎么把那点漏出来的声音去掉,下一篇再讲给你看。
评分
订阅每周 AI 配音简报
每周帮你梳理 AI 配音动态和新鲜事。绝不发垃圾邮件,随时可以退订。
评论 (0)
还没有评论,来抢个沙发吧。