Probé a doblar un vídeo con OmniVoice (y acabé arreglando un bug)

Esta vez le toqué a OmniVoice, una herramienta de doblaje de código abierto.

La abrí en mi MacBook Air y se instaló mucho más fácil que las demás herramientas de código abierto que he probado. Puede parecer una tontería, pero para mí no lo es. Instalar estas cosas se me suele atragantar, así que con solo conseguir que arranque ya llevo medio camino hecho.

Este es el clip que quería doblar, un vídeo cortito en coreano, antes de que OmniVoice lo tocara:

Original: el clip en coreano que quería doblar al inglés

Una vez en marcha, empecé con inglés a coreano y fue sobre ruedas. Así que probé al revés, coreano a inglés, y esta vez cada frase me soltaba un error. Lo volví a lanzar y lo mismo. Pensé que sería por tener demasiadas cosas abiertas, así que lo cerré todo y lo intenté de nuevo. Seguía fallando.

Ahí fue cuando abrí el registro. El lío es que no soy desarrollador, así que por mucho que lo mirara no era capaz de ver qué fallaba. Así que se lo pasé a Claude y le pregunté qué pasaba y cómo arreglarlo.

Y esto fue lo que descubrimos. La herramienta primero escucha el audio y adivina en qué idioma está, y con mi vídeo lo clavó. El registro hasta decía que había detectado coreano con un 98 % de seguridad. O sea, que lo sabía perfectamente. Pero al llegar al paso de la traducción, ese dato se había perdido por el camino. Como no encontraba el idioma de origen, el código hacía lo que tenía puesto por defecto: dar por hecho que era inglés. Así que se ponía a traducir de inglés a inglés y, como eso no existe, cada frase moría con el mismo error. Sabía que el vídeo estaba en coreano y se le olvidaba un paso después.

Cuando entendimos eso, Claude y yo nos metimos en el código y dimos con el punto exacto donde se iba al inglés. Ahí le pusimos una pequeña red de seguridad: si no sabe el idioma, que mire las letras de los subtítulos y lo adivine. (Si son letras coreanas, es coreano, y lo mismo para el japonés, el chino y unos cuantos más.)

Hubo una cosa que sí me sacó un poco de quicio. Cada vez que editaba el código y volvía a abrir la app, mi arreglo desaparecía. Tardé un rato en caer en que la app reescribe su propio código desde cero al arrancar, así que llevaba todo el rato editando la copia equivocada. En cuanto di con el sitio bueno, por fin se quedó.

Después de eso lo lancé otra vez, y el coreano a inglés funcionó.

Me imaginé que más gente se estaría topando con lo mismo, así que lo subí a GitHub como issue y como pull request a la vez. Lo del pull request lo hice por si sonaba la flauta, sin esperar mucho. ¡Y OmniVoice metió mi arreglo! No soy desarrollador, solo alguien al que le gusta el doblaje con IA, y poder aportar al código de otra persona me hizo muchísima ilusión.

Lo puedes ver en GitHub: el issue que abrí y el pull request que se integró.

Así es como quedó:

OmniVoice: doblado de coreano a inglés, con la voz original clonada

La verdad es que este resultado todavía no me termina de convencer. Si afinas el oído, se cuela algo de coreano al principio de algunas frases. Pero la clonación de voz es buenísima. A estas alturas ya he probado un buen puñado de herramientas de doblaje de código abierto, y no he visto ninguna que se acerque tanto a la voz original. En el próximo post te enseño cómo estoy intentando quitar ese resto que se cuela.