Probé a doblar un vídeo con OmniVoice (y acabé arreglando un bug)

Esta vez probé OmniVoice, una herramienta de doblaje de código abierto.

La ejecuté en mi MacBook Air, y se instaló mucho más fácil que las otras herramientas de código abierto que he probado. Puede sonar a poca cosa, pero es importante. Instalar herramientas de código abierto, la verdad, se me hace bastante difícil, así que con solo conseguir que una funcione ya tengo medio camino hecho.

Este es el clip que quería doblar, un breve vídeo en coreano, antes de que OmniVoice lo tocara:

Original: el clip en coreano que quería doblar al inglés

Una vez en marcha, empecé con inglés a coreano. Eso funcionó sin problema. Así que fui al revés y probé coreano a inglés, y esta vez cada frase soltaba un error. Lo ejecuté otra vez y obtuve lo mismo. Al principio supuse que era por tener demasiadas cosas abiertas a la vez, así que lo cerré todo y volví a intentarlo. Siguió fallando.

Ahí fue cuando abrí el registro. El problema es que no soy desarrollador, así que, por mucho que mirara el registro, no era capaz de ver qué fallaba en realidad. Así que se lo enseñé a Claude y le pregunté qué pasaba y cómo podía arreglarlo.

Esto es lo que averiguamos juntos. La herramienta tiene un paso que escucha el audio y deduce en qué idioma está, y con mi vídeo acertó. El registro incluso decía que había detectado coreano con un 98 % de seguridad. O sea, que lo sabía perfectamente. Pero, para cuando la cosa llegaba al paso de la traducción, esa información había desaparecido. Como no encontraba el idioma de origen, el código hizo justo lo que tenía programado para esos casos: dar por hecho que era inglés. Así que intentaba traducir inglés a inglés y, como no existe tal cosa como un paquete de traducción de inglés a inglés, cada frase moría con el mismo error. Sabía que el vídeo estaba en coreano, y lo olvidaba un paso más adelante.

Una vez que entendimos eso, Claude y yo nos metimos en el código y encontramos el punto exacto donde recae en el inglés. Ahí añadimos una pequeña red de seguridad: si no sabe el idioma, que mire las letras de los subtítulos y deduzca de qué idioma se trata. (Si son caracteres coreanos, es coreano, y la misma idea sirve para el japonés, el chino y unos cuantos más.)

Una cosa sí me frustró un poco. Cada vez que editaba el código y volvía a abrir la app, mi arreglo sencillamente desaparecía. Tardé un rato en darme cuenta de que la app reescribe su propio código desde cero cada vez que se inicia, así que había estado editando la copia equivocada todo el tiempo. En cuanto di con el sitio correcto para hacer el cambio, por fin se quedó.

Después de eso lo ejecuté de nuevo, y el coreano a inglés funcionó.

Me imaginé que seguramente otra gente se topa con el mismo problema que yo, así que lo publiqué en GitHub como issue y como pull request a la vez. Abrí el pull request solo por si acaso, con la mínima esperanza de que llegara a aceptarse. ¡Y OmniVoice integró mi arreglo! No soy desarrollador, solo alguien al que le gusta el doblaje con IA, y poder contribuir al código de otra persona me hizo muchísima ilusión.

Puedes verlo en GitHub: el issue que abrí y el pull request que se integró.

Así es como quedó:

OmniVoice: doblado de coreano a inglés, con la voz original clonada

Siendo sincero, este resultado todavía no me deja satisfecho. Si aguzas el oído, se escucha algo de coreano colándose al principio de algunas frases. Pero la clonación de voz es genuinamente buena. A estas alturas ya he probado un buen puñado de herramientas de doblaje de código abierto, y no he visto ninguna que se acerque tanto a la voz del hablante original. En el próximo artículo te enseño cómo estoy intentando eliminar ese resto que se cuela.