AI의 역습…"돈 보내라" 영상통화도 가짜

<이미지를 클릭하시면 크게 보실 수 있습니다>

# '올리버 테일러'라는 이름의 영국 저널리스트는 올해 중순까지만 해도 자신의 얼굴을 공개하고 다양한 신문 기고활동을 했다. 소개글에는 자신이 버밍엄대에 재학 중이며 정치학 석사학위를 받았다고 해놨다. 하지만 그의 글은 유독 편파적으로 팔레스타인 인권운동가들에 대해 비판적이었다. 이를 이상하게 여긴 여러 기관에서 조사한 결과 누군가 인공지능 기술 '딥페이크'를 이용해 만들어낸 사진으로 여론조작을 시도한 것으로 드러났다.

# 독일 한 에너지 회사의 영국 지사 최고경영자(CEO)는 22만유로(약 2억9455만원)를 송금해달라는 연락을 받았다. 모회사인 독일 본사의 CEO가 다급한 목소리로 전화를 걸어와 헝가리에 있는 한 부품 공급사에 송금해야 한다는 내용이었다. 그는 자신과 대화한 사람이 모회사 CEO라는 것을 조금도 의심하지 않았다.

최근 보안업체들은 영상통화·영상회의 조작 등을 통한 딥페이크 사례에 대해서도 경고하고 있다.

인공지능(AI)으로 이미지나 음성, 영상까지도 정교하게 합성해 만드는 딥페이크 기술이 발전하면서 민주주의 근간인 '진실'을 위협할 수 있다는 경고등이 곳곳에서 켜졌다. 국내에서는 '지인능욕'이라는 이름으로 주변인들을 음란물 대상으로 만드는 딥페이크 악용 사례들이 나온 지 오래다. 올해 4월부터 관련법 개정을 통해 이런 행위들을 불법화했지만, 트위터나 페이스북 같은 곳에서 버젓이 이른바 '지인능욕 대행서비스'들이 활개를 치고 있다. 문제는 누구나 이 같은 '딥페이크' 기술을 사용할 수 있게 되면서 악용 사례들이 음란물의 범위를 넘어 사회의 신뢰 근간을 흔드는 쪽으로 확대되고 있다는 점이다. 인공지능 분야 석학인 토비 월시 뉴사우스웨일스대 교수는 "이미 정치인들은 자신이 얼마 전에 했던 이야기들을 쉽게 바꾸고 있지 않은가"라며 "세상은 딥페이크를 통해 누구나 진실을 조작할 수 있는 곳으로 향하고 있는데, 지켜보고만 있어야 하는가"라고 물었다. 딥페이크를 탐지할 수 있는 기술이 발전하고 있다고는 하지만 역부족이다. 실제로 페이스북이 개최한 딥페이크 감지대회에 전 세계 2000여 개 팀이 참가했는데, 우승자조차 제시된 딥페이크 영상 3개 중 1개는 판별해내지 못했다.

■

딥페이크(deep fake) : 인공지능이 서로 다른 영상들을 매우 자연스럽게 합성해주는 기술을 말한다. '딥러닝'과 '가짜'라는 단어가 합쳐진 용어다.

[실리콘밸리 = 신현규 특파원 / 서울 이동인 기자]

"돈보내라" 영상통화도 가짜, CEO·기자도 AI가 만든 가짜였다 AI의 역습, 딥페이크 ①

가짜 임원사진으로 투자 유치

독일선 해커가 CEO 사칭도

지인능욕에서 범죄로 발전

해킹 접목땐 피해 상상초월

'춤추는 英여왕' 만든 방송사

"딥페이크 감당할 수 있겠나"

올해 3월 미국의 한 투자자금 모집 사이트에 체스게임을 만드는 개발 회사 '레지움'이 글을 올렸다. 그들은 투자자들에게 "우리는 체스판의 혁명을 일으키겠다. 최신 기술을 사용해 기계가 말을 자동으로 움직여주는 체스판을 만들겠다"며 자신들에게 투자해줄 것을 호소했다. 하지만 사이트가 공개된 지 얼마 되지 않아 개발팀으로 소개된 멤버들 얼굴 사진이 가짜 의혹에 휩싸였다. 체스닷컴을 비롯한 유명 체스 관련 웹사이트 운영진이 레지움 임직원 6명 중 4명이 실제 존재하지 않는 얼굴로 추정된다고 주장했다.

인공지능(AI)이 새로운 얼굴을 생성하는 웹사이트를 만든 필립 왕은 체스닷컴 측에 "안경 모양 등이 왜곡된 것이나 사진 뒤 물체 등을 비춰 봤을 때 엔비디아 임직원을 모델로 만든 딥페이크로 강하게 의심된다"고 말했다. 의혹이 확산되자 투자자 모집은 급히 중단됐다. 하지만 레지움 측은 이미 투자금 3만3000달러(약 3700만원)를 모금한 뒤였다.

이처럼 진짜와 분간하기 어려울 정도로 정교하게 가짜 영상물을 만들어낼 수 있는 기술 '딥페이크'가 악용될 것이라는 걱정이 커지고 있다. 딥페이크 기술로 회사 임원 신분을 위조해 투자자를 모으는 사례가 등장하고 있는가 하면, 딥페이크가 여론 조작이나 금융사기에 활용될 가능성도 나타나고 있기 때문이다. 올리버 테일러라는 영국 가짜 저널리스트가 중동 지역 인권문제를 옹호하는 사람들을 비판하는 글을 올려 여론 조작을 시도한 사건이 대표적이다. 기업들의 피해도 발생하고 있다. 비대면근무, 영상회의 등이 보편화되면서 그 틈을 노린 해커들의 딥페이크 범죄 가능성도 높아지고 있다. 해외 보안업체들은 영상회의에서 최고경영자(CEO)의 모습을 조작해 부하 직원에게 송금을 요청하는 방식의 새로운 범죄가 발생할 가능성을 경고하고 있다. 지난해 독일 회사에서 일어난 음성 조작 범죄가 이제는 영상으로도 가능해졌다는 게 보안회사들의 설명이다.

이 같은 사건이 일어난 기술적 배경은 새로운 기계학습 방식인 '생성적 적대 신경망(GAN)' 기술이 너무나 뛰어난 데다 누구나 손쉽게 사용할 수 있기 때문이다. GAN 기술은 위조지폐를 찾아내는 방법과 유사하다. 진짜 같은 가짜를 생성하는 딥러닝 모델과 진위를 판별하는 모델 간 경쟁을 통해 목표를 달성하는 방식이다. 이걸 반복하면 실제 인물을 촬영한 사진이 아니라 존재하지도 않는 인물 이미지까지 만들어낼 수 있다. 문제는 딥페이크 이미지를 원본과 구별하는 중요한 방법은 자연스러움을 보는 것인데, 실제 영상 속 인물이 존재하지 않는다면 무엇을 준거로 사실을 판단할 것인지도 혼란스러워진다는 점이다.

실제로 지난주 크리스마스 때 영국 지상파 방송국 채널4에서 엘리자베스 2세 여왕을 딥페이크로 만든 영상을 내보냈는데, 진짜 여왕과 너무 비슷해 놀랐다는 의견이 많았다. 일상적인 성명을 발표하던 여왕은 느닷없이 카메라를 향해 소리를 지른 뒤 "뒤로 물러서. 나는 틱톡에 영상을 올리는 걸 좋아해"라고 말하며 춤을 춘다. 가짜로 만들어진 여왕은 "우리가 있는 그대로를 보고 듣는 것인지 당신은 어떻게 확신하는가"라며 시청자를 혼란에 빠뜨렸다.

동영상을 내보낸 채널4는 딥페이크가 너무나 강력한 기술이기 때문에 악용된다면 기상천외한 범죄로 발전할 가능성이 있다는 경각심을 주기 위해 영상을 만들었다고 밝혔다. 예를 들면 정치인이 가짜뉴스를 퍼뜨리기 위해 딥페이크를 이용한다거나 금융 범죄에 악용할 가능성에 대해 우리 사회가 심각하게 걱정해야 한다는 것이다. 스플렁크에서 발간한 '정보기술(IT) 보안 전망 2020' 보고서는 다양한 기법을 이용한 딥페이크 공격 위협이 크게 늘어날 것으로 전망했다.

앞으로 강력한 대책이 마련되지 않으면 딥페이크 기술 악용 사례는 잡초처럼 끊이지 않고 발생할 가능성이 있다. 이미 한국에서 불법으로 규정된 '지인능욕 딥페이크'가 소셜미디어에서 지금도 버젓이 성행하고 있는 것만 봐도 그렇다. 국회는 올해 4월 성폭력처벌법을 개정해 알고 있는 주변 사람들 얼굴을 음란물과 합성하는 행위를 불법으로 규정했다.

경찰은 이 법에 근거해 대대적 수사를 개시했는데 7명이 검거됐다. 그중 6명은 10대였다. 검거된 사람 중 한 명인 A씨는 2018년 4월 페이스북에 올라온 자신의 고교 동창생 4명 얼굴 사진을 음란물과 합성해 30개 정도 되는 가짜 영상을 만들어 유포했다.

문제는 검거된 이들이 빙산의 일각에 불과할 수 있다는 증거가 여기저기서 나타나고 있다는 점이다. 트위터나 텔레그램처럼 청소년이 자주 접속하는 애플리케이션에서는 지금도 지인능욕으로 불법 합성 동영상을 제작할 수 있다는 광고성 글이나 채팅방을 어렵지 않게 찾아볼 수 있다.

[이동인 기자]