0%

Unity

내가 만든 블록 동물, AI는 알아볼까? — AI 블록 크리에이터 개발기

김*재··수정됨 2026.11.20

내가 만든 블록 동물, AI는 알아볼까? — AI 블록 크리에이터 개발기

시작하며

관람객이 전광판의 힌트를 보고 비밀 동물을 블록으로 조립해 키오스크에서 촬영하면, AI가 정답 동물과 얼마나 닮았는지 싱크로율(%)로 알려 주는 전시 콘텐츠입니다. 맞히면 그 동물이 전광판에 3D로 나타나고, 틀리면 내가 만든 블록 사진이 전광판에 걸립니다.

부스는 키오스크 두 대 + 대형 전광판 + AI 판정 서버로 이루어져 있습니다. 이 글에서는 체험 흐름을 설계하고, 전광판에 올라가는 사진의 배경을 AI로 지우고, 어떤 상황에서도 체험이 멈추지 않게 만든 방법을 정리했습니다.


1. 화면과 기기 역할부터 나눴습니다

키오스크 화면은 모두 18개입니다. 블록은 보는 방향마다 모양이 달라서 앞·왼쪽·오른쪽·위 네 방향을 찍고, 방향마다 확인 화면을 두어 그 사진만 다시 찍을 수 있게 했습니다. 화면 전환은 시나리오 JSON에서 관리합니다.

image
  • 전광판: 퀴즈의 주인. 비밀 동물 A·B·C와 힌트를 들고 있다가 키오스크에 현재 문제를 알려 줍니다. 키오스크 두 대가 서로 다른 문제를 보는 일이 없습니다.

  • 키오스크: 촬영과 결과 표시만 합니다.

  • AI 판정 서버: 네 방향 중 왼쪽 모습 사진 한 장과 정답 동물을 받아 싱크로율을 계산합니다.


2. 결과는 "판정 + 진행 바"가 모두 끝나야 보여 줍니다

싱크로율 계산에는 시간이 걸립니다. 키오스크는 그동안 진행 바를 채우고, 판정이 먼저 도착해도 진행 바가 다 찰 때까지 결과 화면으로 넘어가지 않습니다. 결과가 휙 지나가거나 로딩에 갇히지 않게 하려는 장치이고, 90초 안에 판정이 오지 않으면 지연 안내와 함께 결과 화면으로 넘깁니다.

결과 화면은 싱크로율 구간별로 문구를 다섯 단계로 나누고, 정답이면 초록, 오답이면 주황으로 전체 색을 바꿔 숫자를 읽기 전에 결과를 알 수 있게 했습니다.

image

3. 전광판 사진은 배경을 지웠습니다 (누끼)

오답 사진을 그대로 띄우면 촬영대의 회색 배경이 사각형으로 함께 보여, 풍경 위에 액자가 붙은 것처럼 보였습니다. 그래서 전광판으로 보내는 사진은 두 단계로 배경을 제거합니다.

  • 1차 — AI: 배경 제거 모델 U²-Net을 Unity 추론 엔진(Sentis)으로 키오스크에서 직접 돌립니다. 320×320으로 줄여 마스크를 얻은 뒤 원본 크기로 늘려 알파 채널에 합성합니다.

  • 2차 — 색 차이: AI가 실패하면 앱 시작 때 저장한 "빈 배경" 사진과 색 차이가 작은 픽셀을 지우고, 가장 큰 덩어리만 남깁니다.

  • 키오스크에서 두 방식이 모두 실패하면(AI 모델 로드 실패, 빈 배경 미저장 등) 배경이 있는 원본 사진을 그대로 보냅니다. 배경이 남는 것보다 사진이 안 뜨는 게 더 나쁘기 때문입니다.

image

누끼는 전광판용 사진에만 적용하고, AI 판정에는 왼쪽 모습 원본 사진을 그대로 보내 결과에 영향을 주지 않게 했습니다. 아래는 키오스크 앱에서 실제로 돌린 결과로, 블록 동물과 공은 남고 배경과 떨어진 빨간 블록 조각은 지워졌습니다.

image

4. 오답도 전광판의 콘텐츠로

전광판에는 비밀 동물마다 힌트 3개를 처음부터 모두 보여 줍니다. 관람객이 힌트만 보고도 어떤 동물인지 쉽게 떠올려 바로 블록 조립에 들어갈 수 있게 하기 위해서입니다. 오답이면 배경을 지운 블록 사진이 전광판 풍경 위 빈자리에 등장해, 틀려도 내가 만든 블록이 전광판에 남습니다. 사진은 좌우로 흔들리며 나타난 뒤 살짝씩 까딱까딱 움직이다가 서서히 사라집니다.

image

정답이면 이름이 공개되고, 그 동물의 3D 모델이 콘페티와 함께 튀어나오듯 등장해 전광판 위에서 움직입니다. 잠시 뒤 그 자리는 지금 출제 중인 동물과 겹치지 않는 새 동물로 바뀌고, 모든 키오스크에 새 문제가 전달됩니다. 동물 목록은 CSV, 3D 모델은 AssetBundle로 관리해 다시 빌드하지 않고 추가할 수 있습니다.

image

5. 어떤 경우에도 끝까지 흘러가게

  • 결과 처리는 단계별 try/catch: 전광판 전송·결과 문구·QR 생성 중 하나가 실패해도 "결과 화면으로 이동"은 반드시 실행됩니다.

  • 판정을 못 받아도 사진은 전광판에: 타임아웃이나 판정 실패 시 촬영 사진만이라도 오답으로 올립니다.

  • 전광판이 늦게 켜져도 괜찮게: 키오스크는 전광판에 자동으로 다시 연결되고, 그 사이 나온 결과는 보관했다가 연결되면 보냅니다.

  • 웹캠 지연 대응: 촬영 순간 웹캠이 준비되지 않았으면 2초 동안 다시 시도합니다.

  • 앞사람 흔적 지우기: 120초 동안 입력이 없으면 처음 화면으로 돌아가며 사진과 결과 QR을 비웁니다.

전광판 연결은 백그라운드 스레드에서 연결될 때까지 계속 다시 시도합니다. 설정 파일에 적은 IP를 순서대로 시도해 유선이 끊기면 WiFi로 넘어가고, 연결되면 그 사이 보관해 둔 결과부터 보냅니다.

image

마치며

  • 역할을 먼저: 퀴즈의 주인을 전광판 하나로 정하니 키오스크 두 대가 엇갈리지 않았습니다.

  • 기다림도 설계: "판정과 진행 바가 모두 끝나야 이동" 규칙으로 로딩이 어색하지 않게 했습니다.

  • 오답도 콘텐츠로: 힌트 3개를 처음부터 공개해 쉽게 도전하게 하고, 틀린 관람객의 블록도 누끼 사진으로 전광판에 남게 했습니다.

  • 실패해도 결과물은 남게: 누끼 2단계 폴백과 원본 전송으로 관람객의 블록 사진이 사라지지 않게 했습니다.

관람객에게는 블록을 만들고, 찍고, 전광판에서 확인하는 짧은 체험이지만, 그 체험이 어떤 상황에서도 끝까지 이어지도록 만드는 것이 이번 개발의 핵심이었습니다.

읽기 도구

약 6분 읽기

이 글이 도움이 되었나요?

Work with GIWorks

프로젝트에 GIWorks의 경험이 필요하신가요?

전시·콘텐츠·엔지니어링 프로젝트의 아이디어와 고민을 들려주세요. 필요한 기술과 실행 방법을 함께 찾겠습니다.

문의하기

다음으로 읽기