OmniVoice で吹き替えしてたら、なぜかバグまで直すことに

今回は、オープンソースの吹き替えツール OmniVoice を使ってみました。

MacBook Air で動かしてみたのですが、これまで試した他のオープンソースのツールより、ずっと簡単にインストールできました。小さいことに聞こえるかもしれないけど、私にとってはけっこう大きいんです。私にとってオープンソースのツールを入れるのは正直かなり難しくて、とにかく動くところまで持っていけたら、それだけでもう半分は終わったようなものなんです。

まず、OmniVoice にかける前の、吹き替えしたかった短い韓国語の映像がこちらです：

オリジナル：英語に吹き替えたかった韓国語の映像

動き出してから、まずは英語→韓国語をやってみました。これは問題なく動きました。そこで逆向きに韓国語→英語を試したら、今度は文ごとにエラーが出るんです。もう一度走らせても同じ。最初は、ほかのものを一度に開きすぎてるせいかと思って、全部閉じてやり直しました。それでもダメでした。

そこでログを開いてみたんですが、私は開発者じゃないので、ログをにらんでも実際に何がいけないのか分かりません。それで Claude に見せて、何が起きてて、どう直せばいいのか聞いてみました。

一緒に突き止めたのは、こういうことでした。このツールには、音声を聞いて何語かを当てる工程があって、私の動画ではちゃんと当ててたんです。ログにも「韓国語を98%の確信で検出した」って出てたくらいで。ところが、翻訳の工程までたどり着くころには、その情報が消えてました。元の言語が見つからないものだから、コードは「分からないときは英語ってことにする」っていう初期設定どおりに、勝手に英語だと決めつけちゃったんです。それで英語を英語に翻訳しようとして、でも英語→英語の翻訳パックなんてないので、どの文も同じエラーで止まってた、というわけです。動画が韓国語だって分かってたのに、その一歩あとで忘れちゃってたんですね。

それが分かってから、Claude と一緒にコードに入って、英語へ後戻りしちゃう、まさにその場所を見つけました。そこに、ちょっとした保険を一つ足したんです。言語が分からないなら、字幕の文字を見て何語か当てろ、と。（ハングルなら韓国語、日本語や中国語なんかも同じ考え方ですね。）

一つだけ本当に参ったことがあって、コードを直してアプリを開き直すたびに、私の修正がただ消えてるんです。アプリは起動するたびに自分のコードを一から作り直してて、私はずっと別のコピーのほうを直してたんですね。そう気づくまでしばらくかかりました。直すべき正しい場所を見つけて、やっと修正が残るようになりました。

そのあともう一度走らせたら、韓国語→英語が動きました。

ほかの人もきっと同じことでつまずくだろうなと思ったので、GitHub に Issue とプルリクエストの両方を出しておきました。プルリクのほうは、ひょっとしたら受け入れてもらえるかも、くらいの淡い望みで開いただけだったんです。そしたら、OmniVoice が私の修正を取り込んでくれたんですよ！開発者でもなんでもなくて、ただ AI 吹き替えが好きなだけの人間なのに、誰かのコードに貢献できたのが本当にうれしかったです。

GitHub で見られます。私が立てた Issue と、取り込まれたプルリクエスト です。

で、出来上がったのがこちらです：

OmniVoice：韓国語→英語に吹き替え、元の声をクローン

正直に言うと、これもまだ満足とまではいきません。耳をすませて聞くと、いくつかの文の頭で、韓国語がほんの少し漏れてるのが聞こえちゃうんです。それでも、音声クローンは本当に良いですよ。これまでオープンソースの吹き替えツールをいくつも試してきましたけど、元の話し手の声をここまでそっくりに似せたものは見たことがありません。その漏れをどうやって消そうとしてるかは、次の記事でお見せしますね。