ลองเอา OmniVoice มาพากย์วิดีโอ แล้วจบที่นั่งแก้บั๊กซะงั้น

คราวนี้ขอลองตัวใหม่ OmniVoice เป็นเครื่องมือพากย์เสียงแบบโอเพนซอร์ส

ผมเอามารันบน MacBook Air แล้วบอกเลยว่ามันติดตั้งง่ายกว่าตัวอื่นๆ ที่เคยลองมาเยอะ ฟังดูเหมือนเรื่องเล็กๆ แต่จริงๆ คือเรื่องใหญ่นะ เพราะการติดตั้งของพวกนี้สำหรับผมมันยากเอาเรื่อง แค่ทำให้มันรันได้นี่ก็เหมือนผ่านไปครึ่งทางแล้ว

นี่คือคลิปที่อยากเอามาพากย์ เป็นวิดีโอภาษาเกาหลีสั้นๆ ก่อนที่ OmniVoice จะลงมือ:

ต้นฉบับ: คลิปภาษาเกาหลีที่ผมอยากพากย์เป็นภาษาอังกฤษ

พอรันได้แล้ว ผมเริ่มจากอังกฤษเป็นเกาหลีก่อน อันนี้ออกมาดีเลย เลยลองสลับทางเป็นเกาหลีเป็นอังกฤษบ้าง คราวนี้ทุกประโยคขึ้นข้อผิดพลาดหมด ลองรันใหม่ก็ได้แบบเดิม ตอนแรกนึกว่าเปิดอย่างอื่นค้างไว้เยอะเกิน เลยปิดให้หมดแล้วลองใหม่ มันก็ยังพังอยู่ดี

ตรงนี้แหละที่ผมเปิดบันทึกขึ้นมาดู แต่ติดอยู่อย่างคือผมไม่ใช่นักพัฒนา ต่อให้จ้องมันอยู่ก็บอกไม่ถูกว่าตรงไหนผิด เลยจับมันโยนให้ Claude ดู แล้วถามว่าเกิดอะไรขึ้น แล้วจะแก้ยังไงดี

นี่คือสิ่งที่เราหาเจอด้วยกัน เครื่องมือนี้มีขั้นตอนหนึ่งที่ฟังเสียงแล้วคิดออกว่าเป็นภาษาอะไร แล้วกับวิดีโอของผมมันก็ทายถูก ในบันทึกถึงขั้นเขียนว่าตรวจพบภาษาเกาหลีด้วยความมั่นใจ 98% แต่พอมาถึงขั้นตอนแปล ข้อมูลนั้นกลับหายไปเฉยๆ พอหาไม่เจอว่าต้นทางเป็นภาษาอะไร โค้ดก็เลยเดามั่วๆ ว่าเป็นภาษาอังกฤษไว้ก่อน มันเลยพยายามแปลอังกฤษเป็นอังกฤษ แล้วเพราะมันไม่มีชุดแปลอังกฤษเป็นอังกฤษอยู่จริงๆ ทุกประโยคเลยพังด้วยข้อผิดพลาดเดียวกันหมด สรุปคือมันรู้อยู่แก่ใจว่าวิดีโอเป็นภาษาเกาหลี แล้วก็ดันลืมไปดื้อๆ ในขั้นตอนถัดมา

พอเข้าใจตรงนั้นแล้ว ผมกับ Claude ก็มุดเข้าไปในโค้ด แล้วก็เจอจุดที่มันถอยไปเดาว่าเป็นภาษาอังกฤษพอดี เลยใส่ตัวกันพลาดเล็กๆ ลงไปตรงนั้น คือถ้าไม่รู้ว่าเป็นภาษาอะไร ก็ให้ดูตัวอักษรในซับไตเติลแล้วเดาเอา (เป็นตัวอักษรเกาหลีก็คือภาษาเกาหลี และก็ใช้แนวคิดเดียวกันกับภาษาญี่ปุ่น ภาษาจีน และอีกหลายภาษา)

มีอยู่เรื่องหนึ่งที่ทำผมเกือบบ้า ทุกครั้งที่ผมแก้โค้ดแล้วเปิดแอปขึ้นมาใหม่ การแก้ของผมก็หายไปเฉยๆ ผมใช้เวลาอยู่พักใหญ่กว่าจะรู้ว่าแอปมันเขียนโค้ดของตัวเองขึ้นมาใหม่ทุกครั้งที่เปิด ผมเลยแก้ผิดไฟล์มาตลอด พอผมหาเจอว่าต้องไปแก้ตรงไหน คราวนี้การแก้มันก็เลยอยู่ถาวร ไม่หายไปอีกเลย

หลังจากนั้นผมรันอีกครั้ง แล้วเกาหลีเป็นอังกฤษก็ทำงานได้

ผมว่าคนอื่นก็น่าจะเจอปัญหาแบบเดียวกัน เลยเอาไปโพสต์ลง GitHub ทั้งแบบ issue และ pull request ตอนเปิด pull request ก็ไม่ได้หวังอะไรมากหรอก เผื่อฟลุกได้รับเข้าไปจริงๆ แล้ว OmniVoice ก็เอาโค้ดของผมไปใช้จริงด้วย! ผมไม่ใช่นักพัฒนานะ เป็นแค่คนชอบพากย์เสียงด้วย AI คนหนึ่ง การได้มีส่วนร่วมกับโค้ดของคนอื่นแบบนี้เลยทำเอาดีใจสุดๆ

ใครอยากดูก็ไปดูได้บน GitHub: issue ที่ผมเปิด และ pull request ที่ถูกรวมเข้าไป

ผลลัพธ์ออกมาเป็นแบบนี้:

OmniVoice: พากย์เกาหลี → อังกฤษ พร้อมโคลนเสียงต้นฉบับ

พูดตรงๆ ผลที่ออกมาผมก็ยังไม่ค่อยพอใจเท่าไหร่ ถ้าตั้งใจฟังดีๆ จะได้ยินภาษาเกาหลีหลุดออกมานิดๆ ตอนต้นของบางประโยค แต่เรื่องโคลนเสียงนี่ดีจริง ผมลองเครื่องมือพากย์เสียงโอเพนซอร์สมาหลายตัวแล้ว ยังไม่เคยเจอตัวไหนจับเสียงคนพูดต้นฉบับได้เหมือนขนาดนี้เลย เดี๋ยวบทความหน้าจะมาเล่าให้ฟังว่าผมพยายามกำจัดเสียงที่หลุดออกมานั่นยังไง