2週間で吹き替えアプリを作って公開しました

前回の記事が7月14日なので、ほぼ1か月ぶりですね。その間なにをしていたかというと、ツールを試す側から作る側に移っていました。

オープンソースの吹き替えツールをいくつも使ってきました。このブログに感想も書いたし、バグを見つけて直して送ったこともあります。そうしているうちに、どこが物足りないのかがはっきり見えてきて、あるとき「それなら自分で作ってみよう」と思ったんです。それで作りました。PersoDubというデスクトップの吹き替えアプリで、8月7日に最初のバージョンを公開しました。

音が速くなるのがずっと引っかかっていました

作ろうと思った理由はひとつです。

吹き替えをすると、訳した文が元のセリフより長くなることがよくあります。韓国語で3秒だったものが、英語だと4秒かかる、といった具合ですね。このとき多くのツールは音を早送りして3秒に押し込みます。一度や二度なら気づきません。でも動画のあいだずっとそれが続くと、人が話しているというより早送りを聞いている感じになってくるんです。

PersoDubはそれをやらないことにしました。音をいじる代わりに、翻訳の段階で長さを合わせます。それぞれの文を、元の場所に収まる長さに訳しておきます。そして動画を組み立てるときに、再生速度が1.000倍になっていない行がひとつでもあれば記録に残すようにしました。自分で気をつけるのではなく、コードに確かめさせるようにしたわけです。

2週間、寝る時間以外は全部

目標はひとつでした。完璧なものを作ることではなく、とにかく使える最初のバージョンを早く出すこと。

なので2週間、寝る時間以外は全部これに使いました。朝起きたら始めて、寝るまで続けるという感じです。そうして2週間で形になりました。

いちばん大変だったのは品質のテストでした

作ること自体より大変だったのは、「このくらいで大丈夫」と判断することでした。

声を作るモデルを選ぶだけでもかなり時間がかかりました。候補をひとつずつ試して、同じ文を読ませて、複製された声と元の声を並べて聞きながら似ているか確かめる。耳で判断する作業なので、一回では終わりません。話し声を文字にするモデルも同じでした。いくつかのモデルに同じ動画を入れてみて、どれが間違いが少ないか比べました。

この作業が、そう簡単には終わらないんです。うまくいかないときは、できるまでずっと粘りました。「もう少しやればいけそう」と思って画面を見ていると、いつのまにか3、4時間たっていることもよくありました。

しょっちゅう横道にそれました

もうひとつ大変だったのは、やる順番でした。

次の作業に進まないといけないのに、小さなバグが目について、そっちを先に直しているんです。直しているとまた別のものが見えてきます。大きい作業と細かい作業がずっと混ざって入ってくるので、何を先にやるかを決めるほうが、作ることよりも難しかったです。振り返ってみると、2週間で出せたのは速く作ったからというより、「今回のバージョンではこれは必ず動くようにしよう、追加の機能は次のリリースで考えよう」と、先に出す機能を決めたのが大きかったと思います。

できあがったもの

同じ動画を英語から韓国語に吹き替えました。話している人の声をそのまま複製しています。

動画をひとつ入れると、背景音と声を分けて、話し声を書き起こして、誰がいつ話したかを見分けて、翻訳して、それぞれの人の声を複製して元の動画に重ねてくれます。音楽や効果音はそのままで、話し声だけが変わります。標準の設定なら、この流れが全部わたしのMacBook Air M4の中で動きます。アカウントもAPIキーもいりませんし、最初に一度モデルをダウンロードするとき以外はインターネットも使いません。

まだ全部のOSには対応していません

いまのところApple SiliconのMacだけで動きます。中途半端に全部のOSに対応するより、まずはひとつの環境でしっかり動くようにしようと思いました。ほかのOSはこれから対応していく予定です。

インストールはコマンド1行で

インストールっていつも大変でした。何かをダウンロードしたら、また別のものをダウンロードしろと言われる。それを全部、コマンド1行にまとめました。

curl -fsSL https://raw.githubusercontent.com/stronghamjji/PersoDub/HEAD/install.sh | bash

コードとインストール方法はGitHubに置いてあります。最初のバージョンなのでバグがあるかもしれません。見つけたら気軽にissuesに書いてください。ここでも開発の話を続けて書いていきますね。