OmniVoice로 영상 더빙하다가 버그까지 고친 이야기

이번엔 오픈소스 더빙 도구인 OmniVoice를 써봤어요.

맥북 에어에서 돌려봤는데, 그동안 써본 다른 오픈소스 도구들보다 훨씬 쉽게 깔렸어요. 저한테 오픈소스 설치는 꽤 어려운 일이라, 일단 돌아가게만 해도 절반은 성공한 셈이에요.

OmniVoice에 넣기 전, 제가 더빙해보고 싶었던 짧은 한국어 영상이에요:

원본: 영어로 더빙하고 싶었던 한국어 영상

일단 실행되고 나서, 먼저 영어→한국어부터 해봤어요. 잘 됐죠. 그래서 반대로 한국어→영어를 해봤는데, 이번엔 문장마다 오류가 났어요. 다시 돌려봐도 똑같았고요. 처음엔 다른 걸 너무 많이 띄워놔서 그런가 싶어서, 전부 끄고 다시 해봤어요. 그래도 안 됐어요.

그때 로그를 열어봤어요. 근데 저는 개발자가 아니라서, 로그를 들여다봐도 뭐가 문제인지 알 수가 없었어요. 그래서 Claude한테 보여주면서 무슨 일인지, 어떻게 고치면 되는지 물어봤죠.

같이 알아낸 건 이래요. 이 도구엔 오디오를 듣고 무슨 언어인지 알아내는 단계가 있는데, 제 영상은 제대로 맞혔어요. 로그에도 한국어를 98% 확신으로 감지했다고 떠 있었거든요. 그러니까 분명히 알고는 있었던 거예요. 근데 번역 단계까지 오니까 그 정보가 사라져 있었어요. 원본 언어 정보가 없으니까, 코드에 미리 정해둔 기본값대로 그냥 영어라고 가정해버린 거죠. 그래서 영어를 영어로 번역하려고 했는데, 영어→영어 번역팩 같은 건 없으니까 문장마다 같은 오류로 죽은 거예요. 영상이 한국어인 걸 분명히 알고 있었는데, 딱 한 단계 뒤에서 까먹어버린 셈이죠.

그걸 이해하고 나서, Claude랑 코드를 뒤져서 영어로 되돌아가버리는 부분을 찾았어요. 거기에 작은 안전장치를 하나 넣었죠. 언어를 모르겠으면, 자막 글자를 보고 무슨 언어인지 알아내라고요. (한글이면 한국어, 일본어나 중국어 글자도 같은 방식으로 잡아내게 했어요.)

한 가지 진짜 미치겠던 게 있었어요. 코드를 고치고 앱을 다시 열 때마다, 제가 고친 게 그냥 사라져 있는 거예요. 앱이 켜질 때마다 자기 코드를 처음부터 새로 쓴다는 걸 한참 뒤에야 알았어요. 그러니까 저는 계속 엉뚱한 사본을 고치고 있었던 거죠. 제대로 된 자리를 찾아 고치고 나서야 드디어 반영됐어요.

그러고 다시 돌렸더니, 한국어→영어가 됐어요.

다른 사람들도 저랑 같은 문제를 겪을 것 같아서, GitHub에 이슈랑 풀 리퀘스트로 같이 올렸어요. 풀 리퀘스트는 혹시 받아들여질까 싶어서 그냥 한번 열어본 거였고요. 그런데 OmniVoice가 제 수정을 반영해줬어요! 저는 개발자도 아니고 그냥 AI 더빙을 좋아하는 사람일 뿐인데, 남의 코드에 기여까지 하게 되니까 정말 기뻤어요.

GitHub에서 볼 수 있어요. 제가 올린 이슈랑 반영된 풀 리퀘스트요.

결과는 이렇게 나왔어요:

OmniVoice: 한국어 → 영어 더빙, 원본 목소리를 복제함

솔직히 이것도 아직 100% 만족스럽진 않아요. 잘 들어보면 몇몇 문장 앞부분에 한국어가 살짝 새어 나오는 게 들리거든요. 그래도 목소리 복제는 정말 좋아요. 지금까지 오픈소스 더빙 도구를 여러 개 써봤는데, 원래 화자 목소리를 이만큼 잘 닮은 건 못 봤어요. 그 새어 나오는 소리를 어떻게 없애고 있는지는 다음 글에서 보여드릴게요.