"바"라고 들었는데, 왜 "다"로 들릴까?

입 모양과 소리가 어긋날 때 뇌가 만들어내는 세 번째 소리 — 맥거크 효과 체험 콘텐츠

관람객은 화면 속 인물이 "바"를 발음하는 영상을 보게 됩니다. 그런데 정작 스피커에서 재생되는 소리는 "바"가 아닙니다. 입 모양은 분명 "가"인데 귀에는 전혀 다른 소리가 들리고, 뇌는 두 정보를 뒤섞어 제3의 소리 "다"로 착각하게 만듭니다. 이번 포스팅에서는 같은 소리를 두 가지 조건으로 재생해 이 착각을 체험시키는 구현 과정을 공유합니다.

1. 시스템 아키텍처 개요

본 콘텐츠는 하나의 VideoPlayer와 상태 열거형(PageState)을 축으로, 입 모양 안내 → 착각 유도 영상 → 정답 공개까지 전체 흐름이 순차적으로 진행되는 구조입니다. 메인 플랫폼은 Unity 단일 씬이며, 현재 상태에 대응하는 GameObject만 SetActive로 켜고 끄면서 화면을 전환합니다.

2. 같은 소리를 다른 조건으로 재생하는 이중 체험

이 콘텐츠의 핵심은 같은 음성을 "입 모양이 보일 때"와 "입 모양이 가려졌을 때" 두 번 들려주는 것입니다. 첫 번째 재생은 videoPlayer를 그대로 재생하고, 두 번째 재생은 ReplayPeopleVideo → ReplayBlackVideo 두 코루틴을 거쳐 같은 영상의 화면만 가린 채(blackVideo2) 소리만 다시 들려줍니다.

새 영상 리소스를 따로 만들지 않고 동일한 videoPlayer의 시각 요소만 가려서 재사용했기 때문에, 두 조건의 소리가 완전히 동일하다는 것을 보장할 수 있었습니다. 이 재생 조건 차이 하나로 "같은 소리인데 왜 다르게 들렸을까?"라는 체험의 핵심 질문이 성립합니다.

3. 마치며

우리는 흔히 "듣는다"를 순전히 귀의 일이라고 생각합니다. 하지만 맥거크 효과는 그 믿음을 뒤집습니다. 눈으로 본 입 모양이 귀로 들은 소리보다 더 강하게 뇌의 해석에 관여할 때가 있고, 그 결과 실제로 재생되지 않은 제3의 소리를 "들었다"고 확신하게 됩니다. 관람객이 같은 영상을 두 번 겪으며 "왜 방금은 다르게 들렸지?"라고 스스로에게 되묻는 순간, 이 콘텐츠는 목적을 다한 셈입니다.