OmniVoice で動画を吹き替えてみたら、バグまで直すことになりました

今回は、オープンソースの吹き替えツール、OmniVoice を使ってみました。

MacBook Air で動かしてみたのですが、これまで試した他のオープンソースのツールより、ずっと簡単にインストールできました。些細なことに聞こえるかもしれませんが、これは大きなことです。私にとってオープンソースのツールを入れるのは正直かなり難しくて、とにかく動くところまで持っていけたら、それだけでもう半分は終わったようなものなんです。

OmniVoice が手をつける前の、私が吹き替えたかった短い韓国語の映像です：

オリジナル：英語に吹き替えたかった韓国語の映像

動き出してから、まずは英語→韓国語をやってみました。これは問題なく動きました。そこで逆向きに、韓国語→英語を試したところ、今度は文ごとにエラーが出ました。もう一度走らせても同じです。最初は、ほかのものを一度に開きすぎているせいかと思って、全部閉じてやり直しました。それでも失敗しました。

そこでログを開きました。ただ、私は開発者ではないので、ログをにらんでも、実際に何がいけないのか分かりませんでした。それで Claude に見せて、何が起きていて、どう直せばいいのか聞いてみました。

一緒に突き止めたのは、こういうことです。このツールには、音声を聞いて何語かを割り出す工程があって、私の動画ではそれは正しく当てていました。ログにも、韓国語を98%の確信で検出した、と出ていたほどです。つまり、ちゃんと分かってはいたんです。ところが、翻訳の工程までたどり着くころには、その情報が消えていました。元の言語が見つからないものだから、コードは「分からないときは英語ということにする」という初期設定どおりに、勝手に英語だと決めつけてしまったんです。そうして英語を英語に翻訳しようとして、でも英語→英語の翻訳パックなんてものは存在しないので、どの文も同じエラーで止まってしまいました。動画が韓国語だと分かっていたのに、その一歩あとで忘れてしまった、というわけです。

それが分かってから、Claude と一緒にコードに入って、英語へ後戻りしてしまう、まさにその場所を見つけました。そこに、ちょっとした保険を一つ足しました。言語が分からないなら、字幕の文字を見て、何語かを割り出せ、と。（ハングルなら韓国語、日本語や中国語なども同じ考え方です。）

一つだけ、本当に参ったことがあります。コードを直してアプリを開き直すたびに、私の修正がただ消えているんです。アプリは起動するたびに自分のコードを一から作り直していて、私はずっと別のコピーを直していたんです。そう気づくまで、しばらくかかりました。直すべき正しい場所を見つけて、ようやく修正が残るようになりました。

そのあともう一度走らせたら、韓国語→英語が動きました。

ほかの人もきっと、私と同じことでつまずくだろうと思ったので、GitHub に、Issue とプルリクエストの両方として投稿しました。プルリクエストは、ひょっとして受け入れられるかもしれない、という淡い望みで開いただけでした。ところが、OmniVoice が私の修正を取り込んでくれたんです！私は開発者でもなんでもなく、ただ AI 吹き替えが好きなだけの人間なのに、誰かのコードに貢献できたことが、本当にうれしかったです。

GitHub で見られます。私が立てた Issue と、取り込まれたプルリクエスト です。

出来上がりはこうなりました：

OmniVoice：韓国語→英語に吹き替え、元の声をクローン

正直に言うと、これもまだ満足できる結果ではありません。耳をすませて聞くと、いくつかの文の頭で、韓国語がほんの少し漏れているのが聞こえます。それでも、音声クローンは本当に良いです。これまでオープンソースの吹き替えツールをいくつも試してきましたが、元の話し手の声を、ここまでよく似せたものは見たことがありません。その漏れをどうやって消そうとしているかは、次の記事でお見せします。