0%

Unity

"가사는 제가 쓸게요, 작곡은 AI가" — 글 한 편으로 노래를 만드는 AI 스튜디오 개발기

김*균··수정됨 2026.11.19

"가사는 제가 쓸게요, 작곡은 AI가" — 글 한 편으로 노래를 만드는 AI 스튜디오 개발기

관람객은 키오스크 앞에서 노래의 주제를 고르고, 담고 싶은 이야기를 몇 줄 적습니다. "친구들이 모여서 내 생일을 축하해 주는 노래" 같은 문장이면 충분합니다. 앨범 커버까지 고르고 나면 AI가 그 이야기로 가사를 쓰고 멜로디를 붙여 한 곡을 완성하고, 관람객은 키오스크에서 바로 들어 본 뒤 QR로 자기 휴대폰에 저장해 갑니다. 이번 포스팅에서는 음악 생성을 서버에 맡기고 결과를 소켓으로 받는 구조, 길어질 수 있는 생성 시간을 견디게 하는 게이지, 그리고 LP판 캐러셀과 미리 듣기 플레이어를 구현한 과정을 공유합니다.

1. "시스템 아키텍처 개요"

키오스크는 Unity 단일 씬(AI_Studio)으로 만들었고, 화면은 패널 7개(메인 → 테마 선택 → 직접 입력 → 예시 선택 → 앨범 커버 → 생성 중 → 미리 듣기)를 PanelManager_AIStudio가 하나씩 켜고 끄는 방식입니다. 흐름 전체는 AIStudioManager가 잡고, 서버 요청(APIManager_AIStudio), 생성 게이지(MusicGenerationUI_AIStudio), 커버 캐러셀(AlbumCoverManager_AIStudio), 플레이어(MusicPlayerUI_AIStudio)를 각각의 컴포넌트로 나눴습니다.

diagram_01_flow.png01_theme.jpg

주제는 사랑, 꿈, 위로, 축하 네 가지 테마와 직접 입력 중에서 고릅니다. 테마마다 화면에 보이는 이름과 별개로 서버가 쓰는 장르 값이 붙어 있어서, 사랑은 R&B, 꿈은 팝, 위로는 앰비언트, 축하는 EDM으로 요청이 나갑니다. 직접 입력을 고르면 기본 장르(팝)를 씁니다.

02_input.jpg

이야기는 최대 500자까지 쓸 수 있습니다. 빈 화면 앞에서 막막해하는 관람객을 위해 "행복한 생일파티", "열정적인 체육시간", "신나는 겨울방학", "고요한 밤하늘의 별" 예시 프롬프트 4개를 준비했습니다. 예시를 고르면 입력창에 그대로 채워지고, 고르다가 뒤로 나가면 예시를 보기 전에 쓰던 글로 되돌려 놓습니다.

03_example.jpg04_cover.jpg

마지막으로 앨범 커버 5종 중 하나를 고르면, 고른 커버가 생성 요청에 함께 실려 저장된 노래의 커버가 됩니다.

주요 기술적 구현

2.1 음악은 서버가 만들고, 결과는 소켓으로 받는다

이 콘텐츠의 원칙은 "Unity는 음악 생성 AI를 직접 부르지 않는다"입니다. 키오스크는 주제(장르)와 이야기만 서버로 보내고, 실제 생성과 저장은 서버가 맡습니다. 완성된 노래를 관람객의 기록으로 남기고 QR로 내려받게 하는 것도 서버의 일이라, 생성까지 서버에 두는 편이 흐름이 단순했습니다.

diagram_02_async.png

문제는 음악 생성이 길게는 몇 분까지 걸릴 수 있다는 점입니다. HTTP 요청 하나를 그 시간 내내 붙잡고 있을 수는 없어서, 서버는 요청을 받으면 바로 202(접수)만 돌려주고, 생성이 끝나면 WebSocket으로 결과 메시지를 보냅니다. 키오스크 입장에서 HTTP 응답은 "주문이 들어갔다"는 뜻일 뿐, 노래가 완성됐다는 뜻이 아닙니다.

code_01_branch.png

요청은 두 갈래입니다. 교육관 앱으로 QR을 찍고 들어온 관람객은 세션 토큰(startToken)이 있어서 일반 제출로 보내고, 결과가 그 관람객의 기록으로 저장됩니다. 앱 없이 바로 체험하는 관람객은 토큰이 없으므로 부스 인증 정보로 익명 제출을 보내고, 서버가 돌려준 requestId로 결과를 찾아옵니다. 화면 흐름은 같고 제출 경로만 토큰 유무로 갈립니다.

code_02_result.png

비동기 결과에서 신경 쓴 부분은 "엉뚱한 결과를 받지 않는 것"입니다. 소켓 메시지의 세션 id(익명이면 requestId)가 지금 진행 중인 체험과 다르면 버립니다. 앞사람이 중간에 나가 버린 세션의 결과가 뒤늦게 도착해 다음 사람 화면에 끼어드는 일을 막기 위해서입니다. 또 HTTP 응답에 결과가 바로 실려 오는 경우와 소켓 결과가 둘 다 올 수 있어서, resultapplied 플래그로 결과를 딱 한 번만 적용합니다.

2.2 몇 분을 기다려도 멈춰 보이지 않는 생성 게이지

05_generating.jpg

생성을 기다리는 동안 화면에는 진행 게이지와 함께 "AI는 어떻게 내가 쓴 글로 음악을 만들까요?" 같은 설명이 나옵니다. 그런데 서버는 진행률을 알려 주지 않습니다. 끝났는지 아닌지만 알 수 있습니다. 그래서 게이지를 실제 진행률이 아니라 세 구간으로 나눠 움직였습니다.

code_03_gauge.png

처음 10초 동안은 결과와 상관없이 95%까지 꾸준히 차오릅니다. 그 뒤에는 음악 파일 다운로드까지 끝날 때까지 95%에서 기다리고, 준비가 되면 0.3초 만에 100%를 채운 뒤 미리 듣기 화면으로 넘어갑니다. 화면 전환은 오직 게이지가 100%를 찍은 순간(OnGaugeComplete)에만 일어나도록 해서, 결과가 일찍 와도 게이지가 중간에서 뚝 끊기지 않습니다.

기다리는 시간이 길어질 때를 위한 장치도 있습니다. 평소에는 120초 동안 입력이 없으면 처음 화면으로 돌아가는데, 생성 중에는 관람객이 화면을 건드리지 않는 게 당연하므로 이 타이머를 생성 전용 시간(180초)으로 바꿔 둡니다. 180초가 지나도 결과가 오지 않으면 "서버 응답 시간 초과" 같은 짧은 이유를 담은 오류 팝업을 띄우고, 자세한 원인(오류 코드, 세션, 프롬프트 길이 등)은 현장 확인용 로그로만 남깁니다. 대기 중에는 2초 뒤부터 5초 간격으로 로딩 효과음을 반복하고, 완성되는 순간 페이드 아웃합니다.

2.3 "완성!" 효과음 다음에 시작되는 미리 듣기

06_preview.jpg

완성된 노래는 미리 듣기 화면에서 바로 재생됩니다. 다만 화면이 켜지자마자 노래를 틀지 않고, 먼저 짧은 완성 효과음을 들려주고 그 소리가 끝난 뒤 0.3초 여유를 두고 노래를 시작합니다. 효과음이 나오는 도중에 재생 버튼을 누르거나 화면을 벗어나면 예약된 재생은 바로 취소됩니다.

code_05_player.png

재생 게이지는 노래 위치를 보여 주는 동시에 사용자가 드래그해서 원하는 곳으로 옮기는 입력이기도 합니다. 코드가 매 프레임 게이지를 움직일 때도 값 변경 이벤트가 불려서, 이걸 사용자 입력으로 착각해 재생 위치를 되돌리는 문제가 생길 수 있습니다. 그래서 코드로 값을 바꿀 때는 이벤트를 잠시 막는 SetSliderValueSilent를 만들어 두 경우를 구분했습니다. 10초 앞으로·뒤로 버튼도 같은 함수로 게이지를 맞추고, 곡 끝에 아주 조금(0.05초) 여유를 둬서 끝 지점을 넘겨 오류가 나지 않게 했습니다.

3. "마치며"

노래를 만든다는 건 대부분의 사람에게 먼 일처럼 느껴집니다. AI 스튜디오는 그 과정을 "어떤 이야기를 담고 싶나요?"라는 질문 하나로 바꿉니다. 화면 앞에서는 주제를 고르고 몇 줄을 적는 것이 전부지만, 화면 뒤에서는 서버와 소켓이 몇 분짜리 생성을 주고받고, 게이지와 효과음이 그 기다림을 채우고, 엉뚱한 결과가 끼어들지 않도록 세션을 하나하나 확인합니다. 전시장에서 나만의 이야기를 적고, 세상에 하나뿐인 노래를 휴대폰에 담아 가 보세요.

읽기 도구

약 7분 읽기

이 글이 도움이 되었나요?

Work with GIWorks

프로젝트에 GIWorks의 경험이 필요하신가요?

전시·콘텐츠·엔지니어링 프로젝트의 아이디어와 고민을 들려주세요. 필요한 기술과 실행 방법을 함께 찾겠습니다.

문의하기

다음으로 읽기