Unity
"손만 움직였는데 수술이 끝났어요" — 립모션으로 만든 AI 메디컬 센터 개발기
김*균··수정됨 2026.11.20
관람객은 화면 앞 립모션(Leap Motion) 센서 위에 손을 올립니다. 화면 속 환자는 충치가 생긴 9살 아이일 수도, 3도 화상을 입은 48세 성인일 수도, 팔이 찢어진 32세 환자일 수도 있습니다. 관람객이 검지를 펴고, 엄지와 검지를 펴고, 다섯 손끝을 모을 때마다 화면 속 수술이 국소 마취, 충치 제거, 피부 이식, 봉합 같은 단계를 하나씩 밟아 나갑니다. 컨트롤러도, 터치도 없이 손 모양만으로 수술 하나를 끝까지 집도하는 셈입니다. 이번 포스팅에서는 손 모양을 판정하는 방식, 연습 미션의 왕복 동작 감지, 수술 3종을 데이터로 구성한 구조, 그리고 손 모양 유지로 장면을 넘기는 진행 로직을 공유합니다.
1. "시스템 아키텍처 개요"
콘텐츠는 Unity 단일 씬에서 동작하고, 입력은 오직 Ultraleap 손 추적 데이터뿐입니다. 화면 전환은 ButtonController가 페이지 GameObject를 켜고 끄는 방식이고, 현재 위치는 GameManager의 PageState(Title → QRCodeScan → Page1~4)로 관리합니다. 손 입력은 HandDetector가 모두 받아서, 페이지마다 "손을 3초 유지", "왕복 3회", "지정 손 모양 1.5초 유지"처럼 다른 규칙으로 해석합니다.

주요 기술적 구현
2.1 손가락 펴짐 상태로 읽는 손 모양

수술 단계마다 요구하는 손 모양이 다릅니다. Ultraleap SDK가 손가락마다 IsExtended(펴졌는지)를 제공하기 때문에, 관절 각도를 직접 계산하지 않고도 다섯 손가락의 펴짐 조합으로 대부분의 손 모양을 판정할 수 있었습니다.

판정은 일부러 관대하게 했습니다. "검지만 펴기"에서는 엄지를 검사하지 않습니다. 주먹을 쥔 채 검지를 펼 때 엄지를 어떻게 두는지는 사람마다 달라서, 엄지까지 따지면 제대로 한 동작도 통과하지 못할 수 있기 때문입니다. 손바닥 방향이 중요한 동작은 PalmNormal.y의 부호로 손바닥이 위를 보는지 아래를 보는지 구분합니다.

"다섯 손끝 모으기"는 펴짐 여부로는 구분이 안 됩니다. 손끝을 모은 손은 손가락이 펴진 것도 접힌 것도 아니기 때문입니다. 그래서 다섯 손끝의 평균 위치를 구하고, 중심에서 가장 먼 손끝까지의 거리가 4.5cm 안이면 모은 것으로 봅니다. 이렇게 총 10가지 손 모양을 HandGestureType 열거형으로 정의해 두고, 수술 데이터에서 골라 쓰도록 했습니다.
2.2 연습 미션: 왕복 횟수로 세는 이동·회전·집기

처음 립모션을 쓰는 관람객은 센서가 손을 어떻게 보는지 감이 없습니다. 그래서 수술 전에 손 인식 → 이동 → 회전 → 집기 4단계 연습을 넣었습니다. 손 인식은 3초 유지로 통과하고, 나머지 세 동작은 "왕복 3회"를 채워야 넘어갑니다.

핵심은 상태가 바뀌는 순간만 센다는 점입니다. 이동은 손바닥이 3cm 이상 움직였을 때만 방향을 갱신하고 방향이 뒤집힐 때 1회로 세서, 손 떨림이 횟수로 잡히지 않습니다. 집기는 쥐는 기준(0.8)과 펴는 기준(0.2)을 따로 둔 히스테리시스 방식이라, 쥘락 말락 하는 애매한 손이 여러 번 카운트되지 않습니다.
2.3 데이터로 찍어 내는 수술 3종

연습이 끝나면 환자가 배정됩니다. 수술은 충치 치료, 화상 변연 절제술 및 피부 이식술, 창상 봉합술 세 가지이고, 체험할 때마다 이 중 하나가 랜덤으로 뽑힙니다.

충치 치료 · 화상 피부 이식 · 창상 봉합 진행 화면
세 수술은 환자 정보, 단계 이름, 장면 이미지, 필요한 손 모양만 다르고 진행 규칙은 같습니다. 그래서 수술마다 코드를 따로 짜지 않고 SurgeryInfo라는 직렬화 클래스 하나로 묶어 인스펙터에서 입력하게 했습니다.

예를 들어 충치 치료는 검지 → 검지+중지 → 엄지+검지 → 손바닥 위로 → 소지 → 손끝 모으기 순서이고, 화상 피부 이식은 손바닥 위로 → 손등 뒤집고 엄지 접기 → 검지 → 엄지+검지+소지 → 엄지+검지+중지 → 손바닥 위로 순서입니다. 수술을 하나 더 추가하더라도 이미지와 배열만 채우면 됩니다.
2.4 손 모양을 유지해야 넘어가는 13개의 장면

수술 하나는 6단계, 장면 이미지 13장으로 구성됩니다. 한 단계가 장면 2장을 쓰는데, 첫 장면에서는 지정된 손 모양을 1.5초 유지해야 하고, 두 번째 장면은 시술 결과를 보여 준 뒤 1.5초 후 자동으로 다음 단계로 넘어갑니다. 상단의 단계 표시(1~6)와 왼쪽 용어 설명, 오른쪽 환자 정보도 장면에 맞춰 함께 바뀝니다.


"한 번 맞추면 통과"가 아니라 "유지해야 통과"로 만든 이유는 오인식 때문입니다. 손을 움직이는 도중에는 한두 프레임 동안 우연히 원하는 손 모양으로 판정되는 경우가 생깁니다. 1.5초 연속 유지를 요구하고, 손 모양이 한 프레임이라도 풀리면 타이머를 0으로 돌려 이런 우연한 통과를 막았습니다. 유지 시간은 처음에 3초였다가 지금의 1.5초로 줄였습니다.

12장을 모두 통과하면 5분 타이머가 그 자리에서 멈추고 완료 연출이 나옵니다. 이후 수술 장면 13장을 처음부터 2초 간격으로 다시 보여 주며 관람객이 방금 한 수술을 되짚게 하고, 마지막에 결과 화면으로 넘어갑니다.
2.5 손이 잘리지 않는 핸드 뷰 카메라
관람객은 화면만 보고 손을 움직이기 때문에, 센서가 내 손을 어떻게 보고 있는지 보여 주는 작은 창(핸드 뷰)이 필요했습니다. Ultraleap의 캡슐 손 모델을 전용 직교(Orthographic) 카메라로 찍어 UI에 띄우는데, 손을 활짝 펴면 손가락이 창 밖으로 잘리는 문제가 있었습니다.

그래서 매 프레임 손바닥과 손가락 관절 26개의 위치를 모아, 모든 관절이 가장자리 여백 12% 안에 들어오려면 화면이 얼마나 커야 하는지 계산합니다. 손이 넘치려 하면 즉시 줌아웃하고, 다시 오므리면 천천히 원래 크기로 돌아옵니다. 직교 카메라라 센서와 손의 거리가 바뀌어도 손 크기가 들쭉날쭉하지 않다는 장점도 있습니다.
3. "마치며"
수술은 대부분의 사람에게 평생 직접 해 볼 일이 없는 경험입니다. 이 콘텐츠는 그 낯선 일을 "검지를 펴세요", "손끝을 모으세요" 같은 익숙한 손짓으로 바꿔, 의사가 손을 움직이면 로봇 팔이 따라 움직이는 미래의 수술을 미리 경험하게 합니다. 화면 뒤에서는 손가락 다섯 개의 상태를 읽고, 떨림과 우연을 걸러 내고, 손이 화면 밖으로 나가지 않게 카메라를 조절하는 작은 장치들이 그 경험을 받쳐 주고 있습니다. 전시장에서 센서 위에 손을 올리고, 오늘의 환자를 직접 치료해 보세요.
읽기 도구
약 7분 읽기
이 글이 도움이 되었나요?
Work with GIWorks
프로젝트에 GIWorks의 경험이 필요하신가요?
전시·콘텐츠·엔지니어링 프로젝트의 아이디어와 고민을 들려주세요. 필요한 기술과 실행 방법을 함께 찾겠습니다.
문의하기