2주 동안 더빙 앱을 만들어 내놓았습니다

마지막 글이 7월 14일이었으니 거의 한 달 만이네요. 그동안 뭘 했냐면, 도구를 써보는 쪽에서 만드는 쪽으로 넘어가 있었습니다.

오픈소스 더빙 도구를 여러 개 써봤어요. 이 블로그에 후기도 남겼고, 버그를 찾아서 고쳐 보내기도 했고요. 그러다 보니 어디가 아쉬운지가 눈에 들어왔고, 어느 순간 “이럴 바에는 내가 만들어보자” 싶었습니다. 그래서 만들었어요. PersoDub이라는 데스크탑 더빙 앱이고, 8월 7일에 첫 버전을 공개했습니다.

소리가 빨라지는 게 계속 거슬렸어요

만들기로 한 이유는 하나였어요.

더빙을 하면 번역한 문장이 원래 대사보다 길어지는 일이 자주 생깁니다. 한국어로 3초에 하던 말이 영어로는 4초가 걸리는 식이죠. 이때 대부분의 도구는 소리를 빨리 감아서 3초 안에 밀어 넣어요. 한두 번은 모르는데 영상 내내 그러니까, 사람이 말하는 게 아니라 배속으로 듣는 느낌이 나더라고요.

PersoDub는 그걸 안 하기로 했습니다. 소리를 건드리는 대신 번역 단계에서 길이를 맞춰요. 각 문장을 원래 자리에 들어갈 만한 길이로 번역하고, 영상을 합칠 때 재생 속도가 1.000배가 아닌 줄이 하나라도 있으면 기록에 남기게 했습니다. 지키자고 정해두는 게 아니라 코드가 직접 확인하게 만든 거예요.

2주 동안 자는 시간 빼고

목표는 하나였습니다. 완벽한 걸 만드는 게 아니라, 일단 쓸 수 있는 첫 버전을 빨리 내놓는 것.

그래서 2주 동안 자는 시간 말고는 전부 여기에 썼어요. 아침에 눈 뜨면 시작해서 잠들기 전까지 계속했습니다. 그렇게 2주 만에 결과물이 나왔어요.

제일 힘들었던 건 품질 테스트였어요

만드는 것보다 힘들었던 게 "이 정도면 됐다"를 판단하는 일이었습니다.

목소리를 만들어내는 모델을 고르는 것부터 오래 걸렸어요. 후보를 하나씩 붙여보고, 같은 문장을 돌려보고, 복제된 목소리와 원본 목소리를 나란히 들으면서 닮았는지 확인했습니다. 귀로 듣고 판단하는 일이라 한 번에 끝나지가 않아요. 말을 알아듣는 모델도 마찬가지였습니다. 종류별로 같은 영상을 넣어보고 어느 쪽이 덜 틀리는지 비교했어요.

이 과정이 간단하지가 않았습니다. 안 되면 될 때까지 붙잡고 있었고, “조금만 더 하면 될 것 같은데” 하고 들여다보면 어느새 3~4시간이 지나가 있었어요.

자꾸 옆길로 샜어요

또 하나 어려웠던 건 순서였습니다.

다음 단계로 넘어가야 하는데 작은 버그가 눈에 밟히면 그걸 먼저 고치고 있어요. 고치다 보면 또 다른 게 보이고요. 크고 작은 일이 계속 섞여 들어와서, 뭘 먼저 할지 정하는 게 만드는 일보다 어려웠습니다. 돌아보면 2주 안에 낼 수 있었던 건 빨리 만들어서라기보다 "이번 버전에는 이건 꼭 돌아가게 하자, 추가 기능은 다음 배포 때 생각하자"라고 우선 출시되는 기능을 정한 것이 컸어요.

그래서 나온 것

같은 영상을 영어에서 한국어로 더빙했어요. 말하는 사람 목소리를 그대로 복제했습니다.

영상 하나를 넣으면 배경음과 목소리를 분리하고, 말을 받아쓰고, 누가 언제 말했는지 나누고, 번역하고, 각 사람 목소리를 복제해서 다시 얹어줍니다. 배경음악과 효과음은 그대로 두고 말소리만 바꿔요. 기본 설정에서는 이 과정이 전부 제 맥북 에어 M4 안에서 돌아갑니다. 계정도 API 키도 필요 없고, 처음 한 번 모델을 내려받을 때 말고는 인터넷도 안 씁니다.

아직 모든 OS를 지원하진 않아요

지금은 애플실리콘 맥에서만 됩니다. 어설프게 모든 OS를 지원하는 것보다 한 곳에서라도 제대로 돌아가게 하자고 생각했어요. 다른 OS는 나중에 지원할 예정입니다.

명령어 한 줄로 설치도 빠르게

설치가 항상 어려웠어요. 뭘 받으라고 해서 받으면, 받았더니 또 받으라고 하고요. 저는 그걸 명령어 한 줄에 다 넣었습니다.

curl -fsSL https://raw.githubusercontent.com/stronghamjji/PersoDub/HEAD/install.sh | bash

코드와 설치 방법은 깃허브에 올려뒀어요. 첫 버전이라 버그가 있을 수 있습니다. 발견하시면 자유롭게 issues에 올려주세요! 여기에 개발하는 이야기도 올려볼게요!