Aku nyoba nge-dubbing video pakai OmniVoice (eh malah nemu bug terus benerin)

Kali ini aku nyoba OmniVoice, salah satu alat dubbing open-source.

Aku jalanin di MacBook Air, dan ternyata masangnya jauh lebih gampang dibanding alat open-source lain yang pernah kucoba. Kedengarannya sepele ya, tapi buat aku ini lumayan. Jujur, masang alat open-source itu suka bikin pusing, jadi sampai bisa jalan aja udah berasa setengah kerjaan kelar.

Ini klip yang mau kudubbing, video pendek bahasa Korea, sebelum disentuh OmniVoice:

Asli: klip berbahasa Korea yang ingin kusulihsuarakan ke bahasa Inggris

Begitu jalan, aku mulai dari Inggris ke Korea. Lancar, nggak ada masalah. Terus kubalik arahnya, Korea ke Inggris, eh kali ini tiap kalimat keluar error. Kucoba lagi, sama aja. Awalnya kukira gara-gara aku buka terlalu banyak hal sekaligus, jadi kututup semua terus kucoba lagi. Tetep gagal.

Di titik itu aku buka log-nya. Tapi aku kan bukan developer, jadi mau melototin log juga tetep nggak ngerti apa sih yang salah. Akhirnya kutunjukin ke Claude terus kutanya ini kenapa dan gimana cara benerinnya.

Ini yang kami temuin bareng-bareng. Alat ini punya satu langkah yang dengerin audionya terus nebak ini bahasa apa, dan buat videoku tebakannya bener. Di log-nya malah ketulis dia mendeteksi bahasa Korea dengan keyakinan 98%. Jadi jelas dia tahu. Tapi pas semuanya nyampe ke langkah penerjemahan, informasi itu udah ilang. Karena nggak nemu bahasa sumbernya, kodenya cuma ngelakuin apa yang udah diatur kalau dia nggak tahu apa-apa, yaitu nganggap itu bahasa Inggris. Jadi dia nyoba nerjemahin Inggris ke Inggris, dan karena paket terjemahan Inggris-ke-Inggris emang nggak ada, tiap kalimat berakhir dengan error yang sama. Tahu videonya bahasa Korea, eh lupa satu langkah kemudian.

Setelah ngeh, Claude dan aku masuk ke kodenya terus nemu titik persisnya di mana dia balik lagi ke bahasa Inggris. Di situ kami tambahin pengaman kecil. Kalau dia nggak tahu bahasanya, lihat aja huruf di subtitle-nya terus tebak itu bahasa apa. (Kalau hurufnya Korea ya berarti bahasa Korea, dan ide yang sama berlaku buat Jepang, Mandarin, dan beberapa lainnya.)

Ada satu hal yang bikin aku hampir gila. Tiap kali aku ngedit kode terus buka ulang aplikasinya, perbaikanku ilang gitu aja. Butuh beberapa saat sampai aku sadar aplikasinya nulis ulang kodenya sendiri dari nol tiap kali dijalanin, jadi selama ini aku ngedit salinan yang salah. Begitu aku nemu tempat yang bener buat naruh perbaikannya, dia akhirnya nempel.

Habis itu kucoba lagi, dan Korea ke Inggris pun jalan.

Aku mikir mungkin ada orang lain yang ngalamin masalah yang sama, jadi kuunggah ke GitHub sekalian sebagai issue dan pull request. Aku buka pull request itu cuma iseng jaga-jaga, sambil berharap kecil siapa tahu beneran diterima. Eh OmniVoice beneran masukin perbaikanku! Aku bukan developer, cuma orang yang suka dubbing pakai AI, dan bisa nyumbang ke kode orang lain bikin aku seneng banget.

Kamu bisa lihat di GitHub: issue yang kubuka dan pull request yang digabungkan.

Nih hasil akhirnya:

OmniVoice: disulihsuarakan Korea → Inggris, dengan suara asli yang dikloning

Jujur, hasil ini pun belum bikin aku puas banget. Kalau kamu dengerin baik-baik, ada sedikit bahasa Korea yang nyelip di awal beberapa kalimat. Tapi suaranya niru aslinya bagus banget. Sejauh ini aku udah nyoba beberapa alat dubbing open-source, dan belum ada satu pun yang niru suara penutur aslinya sebagus ini. Nanti di tulisan berikutnya bakal kuceritain gimana aku coba ngilangin selipan tadi.