Hice una app de doblaje en dos semanas y ya está publicada

Mi último post fue el 14 de julio, así que ya pasó casi un mes. ¿Qué estuve haciendo mientras tanto? Pasé de probar herramientas de doblaje a hacer una.

Probé un montón de herramientas de doblaje de código abierto. Escribí sobre ellas aquí, encontré errores y hasta mandé arreglos. Con el tiempo vi claro qué era lo que no me convencía de ninguna, y en algún momento pensé: mejor me hago una yo. Y eso hice. Se llama PersoDub, es una app de escritorio para doblar videos, y saqué la primera versión el 7 de agosto.

Me molestaba el audio acelerado

La razón para hacerla fue una sola.

Cuando doblas un video, la frase traducida suele salir más larga que la original. Lo que en coreano dura tres segundos, en inglés puede durar cuatro. La mayoría de las herramientas lo resuelven acelerando el audio para que entre otra vez en esos tres segundos. Una vez o dos ni lo notas. Pero cuando pasa durante todo el video, deja de parecer una persona hablando y suena a grabación acelerada.

PersoDub no hace eso. En vez de tocar el audio, ajusta la duración en la traducción. Cada frase se traduce de forma que quepa en el hueco del que salió, y al montar el video, cualquier línea que no vaya exactamente a velocidad normal (1x) queda anotada en el registro. No es una regla que yo tenga que recordar. La comprueba el código.

Dos semanas, quitando las horas de dormir

El objetivo era simple. No hacer algo perfecto, sino sacar cuanto antes una primera versión que se pudiera usar.

Así que durante dos semanas le dediqué todas las horas del día, menos las que pasé durmiendo. Empezaba al levantarme y seguía hasta irme a la cama. Dos semanas después ya tenía algo que publicar.

Lo más duro fueron las pruebas de calidad

Más difícil que hacerlo fue decidir cuándo algo ya estaba lo bastante bien.

Solo elegir el modelo que genera las voces me llevó muchísimo tiempo. Conectaba un candidato, le pasaba las mismas frases y luego escuchaba la voz clonada al lado de la original para ver si se parecían. Eso se juzga de oído, así que nunca sale a la primera. Con el modelo que pasa el habla a texto, lo mismo. Le puse el mismo video a cada uno y comparé cuál se equivocaba menos.

Nada de esto fue rápido. Cuando algo no salía, me quedaba ahí hasta que salía, y cada vez que pensaba “un intento más y lo tengo”, ya se me habían ido tres o cuatro horas.

Me iba por las ramas todo el tiempo

La otra parte difícil fue el orden.

Tenía que pasar a la siguiente fase, pero veía un error pequeño y me ponía a arreglarlo primero. Y al arreglarlo aparecía otro. Las cosas grandes y las pequeñas llegaban todas mezcladas, y decidir qué iba primero era más difícil que el trabajo en sí. Ahora que lo miro, si salió en dos semanas no fue por ir rápido. Fue por haber decidido antes qué entraba: “esto tiene que funcionar en esta versión, lo demás lo pienso en la siguiente”.

Lo que salió de todo esto

El mismo video, doblado del inglés al coreano. La voz es la de la misma persona, clonada tal cual.

Le pasas un video y separa el sonido de fondo de las voces, transcribe lo que se dice, marca quién habla en cada momento, lo traduce, clona la voz de cada persona y la vuelve a poner encima. La música y los efectos se quedan como están, solo cambian las voces. Con la configuración por defecto, todo esto pasa dentro de mi MacBook Air M4. Sin cuenta, sin clave de API y sin internet, salvo la primera vez para descargar los modelos.

Todavía no funciona en todos los sistemas

Por ahora solo funciona en Macs con Apple Silicon. Prefería que funcionara bien en uno antes que a medias en todos. Los demás sistemas llegarán más adelante.

Se instala con una sola línea

Instalar estas cosas siempre fue un lío. Descargas una cosa y esa te pide que descargues otra. Yo lo junté todo en una sola línea.

curl -fsSL https://raw.githubusercontent.com/stronghamjji/PersoDub/HEAD/install.sh | bash

El código y los pasos de instalación están en GitHub. Es una primera versión, así que seguro que hay errores. Si te encuentras con alguno, abre un issue sin problema. Y por aquí seguiré contando cómo va el desarrollo.