OmniVoice로 영상 더빙하다가 버그까지 고친 이야기

이번엔 오픈소스 더빙 도구인 OmniVoice를 써봤어요.

맥북 에어에서 돌려봤는데, 그동안 써본 다른 오픈소스 도구들보다 훨씬 쉽게 깔렸어요. 별거 아닌 것 같아도 사실 엄청 중요해요. 저한테 오픈소스 설치는 솔직히 꽤 어려운 일이라, 일단 돌아가게만 해도 이미 절반은 성공한 셈이거든요.

OmniVoice에 넣기 전, 제가 더빙해보고 싶었던 짧은 한국어 영상이에요:

원본: 영어로 더빙하고 싶었던 한국어 영상

일단 실행되고 나서, 먼저 영어→한국어부터 해봤어요. 잘 됐죠. 그래서 반대로 한국어→영어를 해봤는데, 이번엔 문장마다 오류가 났어요. 다시 돌려봐도 똑같았고요. 처음엔 다른 걸 너무 많이 띄워놔서 그런가 싶어서, 전부 끄고 다시 해봤어요. 그래도 안 됐어요.

그때 로그를 열어봤어요. 근데 저는 개발자가 아니라서, 로그를 들여다봐도 뭐가 문제인지 알 수가 없었어요. 그래서 Claude한테 보여주면서 무슨 일인지, 어떻게 고치면 되는지 물어봤죠.

같이 알아낸 건 이래요. 이 도구엔 오디오를 듣고 무슨 언어인지 알아내는 단계가 있는데, 제 영상은 제대로 맞혔어요. 로그에도 한국어를 98% 확신으로 감지했다고 떠 있었거든요. 그러니까 분명히 알고는 있었던 거예요. 근데 번역 단계까지 오니까 그 정보가 사라져 있었어요. 원본 언어를 못 찾으니까, 코드는 '모르겠으면 그냥 영어로 치자’고 미리 정해둔 대로 영어라고 가정해버린 거죠. 그래서 영어를 영어로 번역하려고 했는데, 영어→영어 번역팩 같은 건 없으니까 문장마다 같은 오류로 죽은 거예요. 영상이 한국어인 걸 분명히 알고 있었는데, 딱 한 단계 뒤에서 까먹어버린 셈이죠.

그걸 이해하고 나서, Claude랑 코드로 들어가서 영어로 되돌아가버리는 바로 그 지점을 찾았어요. 거기에 작은 안전장치를 하나 넣었죠. 언어를 모르겠으면, 자막 글자를 보고 무슨 언어인지 알아내라고요. (한글이면 한국어, 일본어나 중국어 글자도 같은 방식으로 잡아내게 했어요.)

한 가지 진짜 미치겠던 게 있었어요. 코드를 고치고 앱을 다시 열 때마다, 제가 고친 게 그냥 사라져 있는 거예요. 앱이 켜질 때마다 자기 코드를 처음부터 새로 쓴다는 걸 한참 뒤에야 알았어요. 그러니까 저는 계속 엉뚱한 사본을 고치고 있었던 거죠. 제대로 된 자리를 찾아 고치고 나서야 드디어 반영됐어요.

그러고 다시 돌렸더니, 한국어→영어가 됐어요.

다른 사람들도 저랑 같은 문제를 겪을 것 같아서, GitHub에 이슈랑 풀 리퀘스트로 같이 올렸어요. 풀 리퀘스트는 혹시 받아들여질까 싶어서 그냥 한번 열어본 거였고요. 그런데 OmniVoice가 제 수정을 반영해줬어요! 저는 개발자도 아니고 그냥 AI 더빙을 좋아하는 사람일 뿐인데, 남의 코드에 기여까지 하게 되니까 정말 기뻤어요.

GitHub에서 볼 수 있어요. 제가 올린 이슈랑 반영된 풀 리퀘스트요.

결과는 이렇게 나왔어요:

OmniVoice: 한국어 → 영어 더빙, 원본 목소리를 복제함

솔직히 말하면, 이것도 아직 만족스러운 결과는 아니에요. 귀 기울여 들어보면 몇몇 문장 앞부분에 한국어가 살짝 새어 나오는 게 들리거든요. 그래도 목소리 복제는 정말 좋아요. 지금까지 오픈소스 더빙 도구를 여러 개 써봤는데, 원래 화자 목소리를 이만큼 잘 닮은 건 못 봤어요. 그 새어 나오는 소리를 어떻게 없애고 있는지는 다음 글에서 보여드릴게요.