Akhirnya, aku berhasil nge-dubbing satu video penuh pakai AI open-source

Dulu aku udah pernah bikin alat-alat ini jalan buat nge-dubbing. Tapi pas aku duduk lagi mau ngulang hal yang persis sama, eh error-nya balik semua. Kali ini aku lawan satu-satu sampai tembus, dan dua-duanya akhirnya ngeluarin hasil dubbing beneran yang enak ditonton. Emang seharian lebih banyak mentoknya sih, tapi ya jadi juga. Dan akhirnya aku punya video yang udah jadi buat dipamerin, bukan cuma cerita “tadi hampir berhasil”.

Klip yang sama, di-dubbing pakai dua cara

Dua-duanya nge-dubbing klip yang sama: video pendek bebas hak cipta dari NASA tentang misi Bulan Artemis. Jadi kamu bisa langsung bandingin sendiri. Cara kerjanya beda jauh:

• KrillinAI bikin transkrip, nerjemahin, lalu nge-dubbing pakai suara siap pakai, terus subtitle-nya juga langsung ditempel ke video.
• Voice-Pro nge-kloning satu suara dari sampel pendek, terus nge-dubbing pakai suara itu.

Ini video aslinya, sebelum disentuh salah satu alat:

Asli: klip NASA, bahasa Inggris (sebelum disulihsuarakan)

KrillinAI: kelihatannya beres, padahal nggak diterjemahin

KrillinAI ngeluarin sederet error sebelum mau jalan, kebanyakan gara-gara bentrok sama aplikasi dubbing lain yang udah kupasang. Tapi yang paling bikin aku ciut justru bukan error sama sekali. Terjemahanku keluar dalam bahasa Inggris polos, nggak diterjemahin, tanpa peringatan apa-apa, dan nggak ada tulisan merah di layar. Mesin terjemahannya ternyata nggak jalan, tapi bukannya protes, KrillinAI malah ngelanjutin teks aslinya apa adanya seolah-olah itu terjemahannya. Buat orang kayak aku, ini tipe bug yang paling serem. Hasilnya kelihatan udah jadi, jadi kamu nggak bakal kepikiran buat ngecek lagi.

KrillinAI: disulihsuarakan dengan suara Edge-TTS

Beberapa catatan jujur. Di paket gratis, kamu cuma bisa pakai suara-suara Microsoft, dan milih suaranya itu dengan ngetik kodenya, bukan milih dari menu. Agak aneh sih, tapi cepet kebiasa kok. Tapi kualitas dubbing-nya lumayan mantap buat alat open-source, dan terjemahannya juga oke. Tampilannya lebih simpel daripada Voice-Pro, dan justru itu yang bikin aku suka. Yang paling aku hargai, dia nempelin subtitle yang rapi dan pas timing-nya sendiri, jadi aku nggak perlu nyamain apa-apa. Dipakai gratisan aja udah enak banget, sampai aku jadi penasaran pengen nyoba fitur kloning suaranya yang berbayar suatu hari nanti.

Voice-Pro: benerin errornya satu-satu sendiri

Kalau error Voice-Pro letaknya lebih dalam, jauh di bagian-bagian kecil di dalamnya. Salah satunya terus-terusan nuntut komponen yang sebenarnya nggak dipakai buat nge-dubbing, dan dia langsung crash sebelum sempat mulai. Dibenerin satu-satu nggak ada habisnya, tiap aku nutup satu, muncul lagi yang mirip. Yang akhirnya manjur itu benerin di satu titik yang dilewatin mereka semua. Ya udah, lewatin aja bagian opsional yang hilang itu ketimbang crash. Cuma satu ubahan, dan seluruh kawanan error itu lenyap sekaligus.

Aku jalanin dua cara biar adil bandinginnya. Pertama pakai suara Microsoft yang sama kayak yang dipakai KrillinAI, biar kondisinya semirip mungkin:

Voice-Pro: suara Edge-TTS yang sama dengan KrillinAI

Lalu pakai kloning suara punya Voice-Pro sendiri, fitur yang emang jadi jagoan utamanya:

Voice-Pro: kloning suara CosyVoice

Kloningnya bagus banget, jelas hal paling oke yang bisa dilakuin dari kedua alat ini. Prosesnya emang lebih lama daripada suara Microsoft biasa, tapi hasilnya sepadan banget sama tambahan waktu nunggunya. Dan ini bedanya yang paling penting. Voice-Pro ngasih semuanya gratis, kloning juga, sementara KrillinAI nyimpen kloning di balik API berbayar. Buat orang yang ngotot pengen full gratis kayak aku, ini ngaruh banget.

Disandingin, dua-duanya beda karakter banget. Jagoannya KrillinAI itu di subtitle-nya, keluar rapi dan kepenggal pas sendiri, nggak usah diedit. Kelemahannya di temponya. Biar suara dubbing-nya pas sama timing aslinya, dia mempercepat terus memperlambat, dan tarik-ulur terus-terusan itu lama-lama kedengeran agak nggak natural. Biar timing-nya bener-bener pas mungkin masih butuh kerja tambahan. Yang juga sayang, video jadinya keluar tanpa suara latar karena udah dibuang.

Voice-Pro malah kebalikannya. Subtitle-nya emang harus kamu benerin sendiri, tapi sisanya bikin aku puas. Panjang suaranya nyesuain otomatis, jadi temponya stabil dan natural, dan kayak yang aku bilang tadi, suara kloningnya kedengeran bagus banget. Yang paling oke, suara latarnya tetap dipertahanin di video jadinya, jadi hasilnya langsung siap diupload ke mana aja apa adanya. Buat aku, bagian terakhir ini yang paling bikin beda.

Masing-masing makan waktu berapa lama

Di RTX 3080, nge-dubbing satu klip penuh dari nol:

Dengan suara Edge-TTS yang sama, KrillinAI kira-kira dua kali lebih cepat, soalnya Voice-Pro ngerjain hal-hal tambahan yang lebih berat, kayak misahin suara latar. Kloning suara pakai CosyVoice yang paling lambat, soalnya dia jalanin model di GPU baris demi baris. Tapi ya, nggak ada yang beneran lambat sih. Semuanya cuma soal beberapa menit doang.

Yang aku pelajarin hari itu

Aku kira yang bakal jadi masalah itu ruang disk atau nungguin download. Ternyata bukan. Semuanya keunduh dengan mulus. Yang paling susah malah ini. Semuanya udah pernah jalan, terus pas aku duduk lagi mau ngulang hal yang persis sama, eh dia nolak jalan gitu aja. Itu yang bikin pusing, bukan masalah yang bener-bener baru, tapi sesuatu yang terakhir kali jalan mulus, sekarang diam-diam ngambek nggak mau jalan. Pelajaran lain yang layak diinget, hati-hati sama error yang diam-diam. KrillinAI yang ngembaliin bahasa Inggris tanpa diterjemahin dan tanpa ngomong apa-apa itu jebakan paling sempurna, soalnya hasilnya kelihatan udah jadi.

Aku ini masih orang yang bukan programmer, masih meraba-raba dalam gelap di hampir semua urusan ini. Tapi kali ini, meraba-rabanya berujung ke sesuatu yang nyata: dua dubbing yang jadi dari klip yang sama, dibikin full pakai alat open-source gratisan.