Por fin doblé un vídeo entero con IA de código abierto

Ya había doblado con estas herramientas antes, pero me senté a hacer exactamente lo mismo otra vez y los errores volvieron enseguida. Esta vez los fui sacando uno a uno, y al final las dos me dieron un doblaje de verdad, de los que puedes ver. Me pasé casi todo el día atascado y aun así salió. Por fin tengo vídeos terminados que enseñarte, en vez de contarte que me quedé a punto.

El mismo clip, doblado de dos formas

Las dos doblaron el mismo clip, un vídeo cortito de la NASA sobre la misión Artemis a la Luna, así que puedes compararlos directamente. Funcionan de maneras totalmente distintas:

• KrillinAI transcribe, traduce y dobla con una voz prefabricada, y además incrusta los subtítulos.
• Voice-Pro clona una voz a partir de una muestra corta y dobla con esa voz.

Este es el original, antes de que ninguna lo tocara:

Original: clip de la NASA, en inglés (antes del doblaje)

KrillinAI: parecía que iba bien y no traducía

KrillinAI me soltó una ristra de errores antes de ponerse a doblar, casi todos porque chocaba con otra app de doblaje que tenía instalada. Pero el que de verdad me dio mal rollo ni siquiera era un error: las traducciones me salían en inglés, sin traducir, sin ningún aviso ni nada rojo en la pantalla. La traducción no estaba funcionando y, en vez de avisar, KrillinAI dejaba pasar el texto original tal cual, como si fuera la traducción. Para alguien como yo, ese es el bug que más miedo da: parece que está todo bien, así que ni se te ocurre revisarlo.

KrillinAI: doblado con una voz de Edge-TTS

Unas cuantas cosas, te las cuento tal cual. Gratis solo puedes usar las voces de Microsoft, y la voz la eliges escribiendo su código en vez de cogerla de un menú; una rareza pequeña a la que te acostumbras rápido. Pero el doblaje sonaba bastante bien para ser código abierto, y la traducción también aguantó. La pantalla es más sencilla que la de Voice-Pro, y por eso me gustó más. Lo que más me gustó: te pone él solo unos subtítulos limpios y bien sincronizados, así que no tuve que cuadrar nada. Gratis me fue tan bien que hasta me entran ganas de probar algún día su clonación de voz de pago.

Voice-Pro: tuve que arreglarlo a mano por dentro

Los errores de Voice-Pro estaban más metidos por dentro, en las piezas con las que está hecho. Una se empeñaba en pedir algo que ni siquiera hace falta para doblar, y se caía antes de arrancar. Ir arreglándolos uno a uno no acababa nunca: tapaba uno y saltaba otro parecido. Lo que al final funcionó fue arreglarlo en un solo sitio por el que pasan todos: saltarse esa pieza opcional que faltaba en vez de caerse. Un solo cambio, y de golpe desapareció toda la tanda de errores.

Lo probé de dos maneras para que la comparación fuera justa. Primero con la misma voz de Microsoft que usa KrillinAI, para igualar las cosas todo lo posible:

Voice-Pro: la misma voz de Edge-TTS que KrillinAI

Y después con la clonación de voz de Voice-Pro, que es lo suyo de verdad:

Voice-Pro: clonación de voz con CosyVoice

La clonación es buenísima, lo mejor que hace cualquiera de las dos. Tarda bastante más que la voz de Microsoft a secas, pero el resultado vale la espera. Y ahí está la diferencia gorda entre las dos: Voice-Pro te lo da todo gratis, clonación incluida, mientras que KrillinAI te deja la clonación detrás de una API de pago. Si, como yo, te empeñas en quedarte en lo totalmente gratis, eso pesa mucho.

Puestas una al lado de la otra, cada una tiene su carácter. Lo más cómodo de KrillinAI son los subtítulos: salen limpios y bien partidos solos, sin tocar nada. Lo flojo es el ritmo: para que la voz encaje con el momento original, acelera y frena, y ese estira y encoge constante acabó sonando bastante raro. Afinar la sincronización daría algo de trabajo extra. Y otra cosa que eché de menos: el vídeo final salió sin el audio de fondo.

Voice-Pro fue justo al revés. Los subtítulos sí los tienes que arreglar tú, pero todo lo demás me dejó contento. La voz se ajustó sola en duración, así que el ritmo quedó estable y natural y, como ya dije, la clonación sonaba muy bien. Y lo mejor: el vídeo final conservó el audio de fondo, así que quedó listo para subirlo a cualquier sitio tal cual. Para mí, eso fue lo que más diferencia marcó.

Cuánto tardó cada una

En una RTX 3080, doblando el clip entero desde cero:

Con la misma voz de Edge-TTS, KrillinAI fue como el doble de rápido, sobre todo porque Voice-Pro hace cosas extra más pesadas, como separar el audio de fondo. Clonar una voz con CosyVoice es lo más lento, porque va pasando un modelo por la GPU línea a línea. Aun así, nada de esto es lento de verdad: al final hablamos de un par de minutos en cualquier caso.

Lo que me dejó el día

Pensaba que lo difícil iba a ser el espacio en disco o esperar a las descargas. Pues no. Todo se había bajado bien. Lo difícil fue que todo había funcionado antes y, al sentarme a hacer lo mismo otra vez, no arrancaba. Eso es lo que te saca de quicio: no algo nuevo, sino algo que la última vez fue como la seda y ahora, sin avisar, se niega a funcionar. Y la otra cosa que me llevo: ojo con los fallos silenciosos. Que KrillinAI te devuelva inglés sin traducir sin decir ni mu es la trampa perfecta, porque parece que va todo bien.

Sigo sin saber programar, dando tumbos a oscuras en casi todo esto. Pero esta vez los tumbos acabaron en algo de verdad: dos doblajes terminados del mismo clip, hechos enteros con herramientas gratis y de código abierto.