“VR 아바타가 내 표정이랑 똑같네!”

한양대 연구팀, 표정 재현 기술 개발… 피부에 흐르는 미약한 전류 읽어

11가지 표정, 정확도 88% 표현

“놀란 표정을 지어 보세요.”

19일 오전 서울 성동구 한양종합기술원 3층 연구실. 차호승, 최성준 한양대 전기·생체공학부 연구원의 말에 눈을 크게 뜨고 입을 힘껏 벌렸다. 앞에 있는 모니터에 우스꽝스러운 표정이 그대로 보였다. 그런데 마치 그 모습을 보고 놀란 듯, 옆에 그래픽으로 그려진 분신(아바타)도 덩달아 눈을 크게 뜨고 입을 떡 벌렸다. 누가 봐도 놀란 모습이었다. 민망해 입을 다물고 웃자 아바타도 활짝 웃었다.

임창환 한양대 전기·생체공학부 교수팀이 개발한 표정 재현 기술을 직접 시연해 봤다. 놀란 표정을 짓자 분신(아바타)도 따라서 놀란 표정을 짓고 있다.

임창환 전기·생체공학부 교수가 개발 중인 가상현실(VR)용 표정 인식·재현 기술을 시연하던 중이었다. VR 기술이 발전하면서 가상현실 속 풍경은 점점 자연스러워지고 있다. 하지만 아직까지 해결되지 않은 게 있다. 바로 플레이어 자신의 표정이다. 미래에는 페이스북 등의 소셜네트워크서비스(SNS)가 VR와 결합해 아바타를 통해 대화를 나누게 될 가능성이 높아 실제 표정을 자연스럽게 재현하는 기술이 필수다.

이 때문에 페이스북은 VR 기업과 시선 추적 기술 기업을 인수해 표정 재현 연구에 몰두하고 있다. 눈에 쓰는 헤드마운티드디스플레이(HMD) 아래에 작은 카메라를 달아 입 모양을 읽거나, HMD에 압력 센서를 달아 얼굴 근육의 움직임을 측정해 표정으로 변환하는 기술을 개발 중이다. 일본의 VR 기업 포브도 시선 추적 기술을 이용해 표정을 인식하고 있다.

임 교수 팀은 전혀 다른 방법을 시도하고 있다. 얼굴 표면에는 신경이 만들어 낸 아주 미약한 전류가 흐른다. ‘근전도’라고 부르는데, 1.5V 건전지의 5000분의 1 정도에 해당하는 300μV(마이크로볼트·1μV는 100만 분의 1V)의 전류가 흐른다. 표정을 지으려 얼굴 근육을 움직이면 근전도가 변화한다. 임 교수 팀은 전극을 얼굴에 붙여 표정 변화 때 발생하는 근전도 변화 패턴을 읽고, 이를 수학적으로 해석해 웃음, 키스, 놀람, 두려움, 슬픔, 비웃음 등 11개 표정으로 정확하게 분류하고 재현하는 기술을 개발했다.

얼굴에 전극을 붙인다고 해서 걱정했는데, 실제로는 HMD에서 얼굴에 닿는 부분에 전극이 들어가 이물감이 없었다. 실험이라 HMD를 빼고 눈썹 위와 눈 아래에 어른 새끼손톱만 한 전극 8개를 붙이자 준비가 끝났다. 처음 사용할 때는 11개 표정을 한 번씩 지으며 ‘등록’하는 절차가 있다. 개인마다 표정과 근전도 패턴이 달라 꼭 필요한 절차다. 기존 다른 연구에서는 이 과정을 4∼14번 반복해야 겨우 표정을 구분했는데, 임 교수 팀의 기술은 한 번만 등록하면 된다. 화면을 보며 3초씩 입을 벌렸다 눈을 찡그렸다 하니 1분여 만에 등록이 끝났다. 이후부터는 아바타가 실제 표정을 따라 하기 시작했다.

현재 이 기술의 정확도는 약 88%다. 10번 중 9번은 정확히 표정을 분류한다는 뜻이다. 차 연구원은 “슬픔과 두려움같이 비슷한 표정을 종종 혼동한다”고 말했다. 실제로 해보니 이 두 표정에서 가장 많이 에러가 났다. 기존 근전도 기술 중에는 최고 97%까지 정확도가 올라가는 것도 있었지만, 재현하는 표정 수가 적었다. 임 교수는 “근전도 패턴을 분석하는 데 전혀 다른 새로운 수학을 도입하고 분석 방법을 바꿔 정확도는 비슷하면서 단 한 번의 표정 등록으로 가장 많은 표정을 재현할 수 있게 됐다”고 말했다.

이 기술은 응용 가능성이 높은 데다 세계적으로도 아직 상용화에 성공한 곳이 없어 삼성미래기술육성사업으로 선정돼 지원을 받고 있다. 임 교수는 “내년에는 딥러닝을 활용해 좀 더 자연스러운 얼굴 표정을 재현하는 방법을 추가할 계획”이라고 말했다.

윤신영 동아사이언스 기자 ashilla@donga.com