0%

Unity

"제 목소리가 영어로 말해요" — 20초 영상을 10개 언어로 바꿔 주는 AI 보이스 시프트 개발기

김*재··수정됨 2026.11.21

"제 목소리가 영어로 말해요" — 20초 영상을 10개 언어로 바꿔 주는 AI 보이스 시프트 개발기

시작하며

관람객이 키오스크에서 언어를 고르고, 헤드셋을 쓴 채 카메라를 보며 20초 동안 한국어로 자유롭게 이야기합니다. 그러면 AI가 그 말을 선택한 언어로 번역해 음성을 입히고 입 모양까지 맞춰(립싱크), "내가 영어로(또는 일본어·베트남어로) 말하는 영상"을 돌려줍니다. 완성된 영상은 키오스크에서 바로 보고, QR로 휴대폰에 저장해 갈 수 있습니다.

이 글에서는 20초 영상을 키오스크에서 직접 녹화·합성한 방법, 몇 분씩 걸리는 번역을 끊김 없이 기다리게 한 방법, 그리고 번역이 실패해도 체험이 끝까지 이어지게 만든 방법을 정리했습니다.


1. 화면과 기기 역할부터 나눴습니다

키오스크는 Unity 단일 씬으로 만들었고, 체험은 타이틀 → 체험 방식 선택(즉시체험 / 앱 연동 QR) → 언어 선택 → 카메라 높이 조정 → 5초 카운트다운 → 20초 말하기 → 번역 대기 → 결과 재생 순서로 흘러갑니다. 번역 언어는 일본어, 영어, 중국어, 인도네시아어, 우즈베크어, 몽골어, 베트남어, 태국어, 스페인어, 암하라어 10개입니다.

s1_flow.pngs1_language.png
  • 키오스크: 녹화와 결과 재생만 합니다. 웹캠·마이크로 20초를 담아 mp4 한 개로 만들어 서버에 넘기고, 결과 영상을 받아 재생합니다.

  • 결과 서버: 영상과 목표 언어를 받아 AI 번역을 맡기고, 결과를 관람객 기록으로 저장해 QR로 내려받게 합니다.

결과 저장과 QR 발급이 어차피 서버의 일이라, 번역 AI 호출까지 서버에 두는 편이 흐름이 하나로 모였습니다.


2. 20초 영상은 키오스크에서 직접 만듭니다

s2_recording.png

블로그용 캡처에서는 웹캠 화면 자리에 사람 캐릭터 이미지를 넣었습니다.

Unity에는 웹캠 영상과 마이크 소리를 한 번에 mp4로 녹화하는 기능이 없습니다. 그래서 영상은 1초에 15장씩 JPG로, 소리는 WAV로 따로 담은 뒤 마지막에 ffmpeg로 합쳤습니다. 웹캠은 카메라 조정 화면에서 쓰던 것을 그대로 이어 받아 다시 여는 비용을 없앴고, 말하는 동안에는 마이크 음량에 맞춰 막대 파형이 움직여 "내 목소리가 들어가고 있구나"를 바로 알 수 있게 했습니다.

업로드 용량: 원본 그대로 합치면 서버 업로드 한도를 넘었습니다. 그래서 립싱크에 필요한 얼굴은 충분히 보이는 선에서 가로 854px(480p)로 줄이고 비트레이트 상한을 걸어, 20초 기준 약 2MB로 맞췄습니다.

기다리는 시간: ffmpeg 합성에는 몇 초가 걸립니다. 그 사이 화면이 멈춰 있으면 고장처럼 보이기 때문에, 녹화가 끝나는 순간 바로 번역 대기 화면으로 넘기고 합성과 서버 제출은 뒤에서 이어서 진행합니다.

code1_recording.png

이벤트를 녹화 종료(OnRecordingStopped)와 합성 완료(OnRecordingComplete) 두 개로 나눈 것이 핵심입니다. 화면 전환은 앞의 이벤트에, 서버 제출은 뒤의 이벤트에 연결해 "화면은 빠르게, 제출은 완성된 파일로"를 함께 지켰습니다. ffmpeg는 외부 프로세스라 Task로 돌려 Unity 메인 스레드를 막지 않습니다.


3. 로딩 바가 100%가 되는 순간, 영상이 나옵니다

번역에 음성 합성, 립싱크까지 거치면 길게는 몇 분이 걸립니다. 그래서 키오스크가 영상과 목표 언어를 보내면 서버는 202(접수)만 바로 돌려주고, 번역이 끝나면 WebSocket으로 결과 영상 주소를 보내 줍니다. 앱으로 QR을 찍고 들어온 관람객은 본인 기록으로 저장되고, 즉시체험은 부스 인증으로 익명 제출됩니다. 화면 흐름은 같고 제출 경로만 다릅니다.

서버는 진행률을 알려 주지 않아서, 로딩 바는 시간에 맞춰 95%까지만 천천히 차오르고 결과가 올 때까지 기다립니다. 목표는 "로딩 바 100% = 화면 전환 = 영상 첫 프레임"이 같은 순간이 되게 하는 것이었습니다.

  1. 결과 주소가 오면 영상을 키오스크로 먼저 내려받습니다. (Windows에서 HTTPS 스트리밍 재생이 불안정했습니다.)

  2. 결과 화면을 투명하게 켜 두고, 소리를 0으로 둔 채 미리 재생해 첫 프레임이 실제로 나올 때까지 기다립니다.

  3. 준비가 끝나면 로딩 바를 0.5초 만에 100%로 채우고, 그 순간 결과 화면을 보이며 소리를 40ms에 걸쳐 올립니다. (한 번에 올리면 "틱" 잡음이 생깁니다.)

code2_transition.png

포인트는 재생 준비 완료를 isPrepared가 아니라 실제 프레임으로 판단한다는 것입니다. isPrepared가 참이어도 첫 프레임까지는 시간이 더 걸릴 수 있고, Windows에서는 영상을 멈췄다 다시 재생하면 재생 엔진이 다시 초기화되며 끊깁니다. 그래서 미리 재생해 둔 영상을 되감지 않고 볼륨만 올려, 첫 장면부터 끊김 없이 이어지게 했습니다.


4. 번역이 실패해도 내 영상은 남게

s4_fallback.png

번역이 실패했을 때 "오류가 발생했습니다"로 끝내면, 20초 동안 열심히 말한 관람객에게는 아무것도 남지 않습니다. 그래서 실패하면 키오스크가 녹화해 둔 원본 영상을 대신 재생합니다.

  • 결과 영상 다운로드는 최대 3번까지 다시 시도하고, 4xx처럼 다시 해도 소용없는 응답은 바로 넘어갑니다.

  • 그래도 실패하면 스트리밍 대신 원본 영상을 재생합니다. 약한 Wi-Fi에서 끊기는 영상보다 원본이 낫다고 판단했습니다.

  • 원본 재생 시에는 실패 이유에 맞는 안내 문구를 띄우고, 저장할 결과가 없으므로 QR 저장 버튼 대신 "체험 종료" 버튼을 보여 줍니다.


5. 어떤 경우에도 끝까지 흘러가게

  • 로딩 하드 타임아웃: 6분 안에 성공도 실패도 오지 않으면 원본 영상 재생으로 넘겨, 로딩 화면에 갇히지 않게 했습니다.

  • 늦게 온 응답은 무시: 지금 체험 중인 세션이 아니거나 이미 결과 화면으로 넘어간 뒤 도착한 응답은 버려, 앞사람의 결과가 다음 사람 화면에 끼어들지 않습니다.

  • WebSocket 자동 재연결: 연결이 끊기면 1초부터 최대 30초까지 간격을 늘려 가며 다시 연결합니다.

  • 녹화 장치 점검: 웹캠·마이크를 찾지 못하거나 합성에 실패하면 이유를 짧게 안내하고 처음 화면으로 돌아갑니다.

  • 자동 복귀: QR·언어 선택·결과 화면에서 120초 동안 입력이 없으면 처음 화면으로 돌아가, 다음 관람객이 앞사람의 화면을 이어받지 않습니다.


마치며

  • 역할을 먼저: 키오스크는 녹화와 재생, 서버는 번역과 저장으로 나눠, 즉시체험과 앱 연동 체험이 같은 화면 흐름을 쓰게 했습니다.

  • 녹화는 직접: Unity에 없는 영상+음성 녹화를 JPG·WAV·ffmpeg 조합으로 만들고, 업로드 용량에 맞춰 480p로 줄였습니다.

  • 기다림도 설계: "로딩 바 100% = 화면 전환 = 첫 프레임" 규칙으로 몇 분의 기다림이 끊김 없는 결과 재생으로 이어지게 했습니다.

  • 실패해도 결과물은 남게: 번역이 실패해도 원본 영상을 보여 줘, 관람객이 빈손으로 돌아가지 않게 했습니다.

관람객이 할 일은 언어를 고르고 20초 동안 이야기하는 것뿐입니다. 녹화·합성·번역·재생은 모두 화면 뒤에서 처리하고, 몇 분의 기다림도, 번역이 실패하는 순간도 관람객이 따로 조작하거나 직원을 찾지 않아도 되게 만들었습니다. 체험자가 아무것도 신경 쓰지 않고 편하게 끝까지 즐길 수 있게 하는 것이 이번 개발의 핵심이었습니다.

읽기 도구

약 7분 읽기

이 글이 도움이 되었나요?

Work with GIWorks

프로젝트에 GIWorks의 경험이 필요하신가요?

전시·콘텐츠·엔지니어링 프로젝트의 아이디어와 고민을 들려주세요. 필요한 기술과 실행 방법을 함께 찾겠습니다.

문의하기

다음으로 읽기