가짜를 진짜로, 감쪽같이 사기치는 AI

사람이 한 것처럼, 영상도 소리도 모두 조작 가능

머지 않아 음성 로봇이 전혀 어색하지 않게 인간과 계속 대화를 나눌 수 있게 할 것이다. 그리고 언젠가는 음성 로봇이 우리에게 전화해서 신용카드 정보를 누설하도록 설득할 것이다. 출처= Pinterest

2016년 대선을 앞둔 여름, 볼티모어의 보안업체 제로FOX(ZeroFOX)의 두 연구원 존 세이모어와 필립 툴리는 새로운 종류의 트위터 로봇(Twitter bot)을 공개했다. 이 로봇은 소셜 네트워크상에서 일어나는 사용자의 활동 패턴을 분석해, 트위터에서 위험한 사이트의 링크를 클릭하도록 사용자를 속이는 법을 배웠다.

SNAP_R이라는 이 로봇은, 특정 개인의 기분에 따라 그의 관심을 끌어 무심코 스파이웨어를 자신의 컴퓨터에 다운로드하도록 유혹하는 일종의 자동화 ‘피싱’ 시스템이었다. 이 로봇은 전혀 의심조차 하지 않는 한 사용자에게 "고고학자들은 알렉산더 대왕의 무덤이 미국에 있다는 것을 자신들이 처음 발견했다고 믿는다: goo.gl/KjdQYT."라는 글을 트윗했다.

이상한 문법상의 실수에도 불구하고, SNAP_R은 66%의 성공률로 사용자가 이 링크를 클릭하게 유도했는데, 이는 피싱 메시지를 직접 작성하는 인간 해커와 거의 대등한 수준이다.

이 로봇은 어떠한 무기도 사용하지 않은, 단지 말 그대로 ‘개념 검증’(proof of concept, 기존 시장에 없었던 신기술 및 개념을 도입하기 전에 이를 검증하는 것)에 불과했다. 그러나 선거 와중에 정치적 해킹, 가짜 뉴스가 판치고 소셜네트워크의 어두운 측면에 대한 우려가 커지면서, 가짜 환경이 우리를 더 암울하게 만들 수 있음을 예고했다.

두 연구원은 방대한 양의 데이터를 분석해 과제를 학습할 수 있는 복잡한 수학적 시스템인 신경망이라는 것을 구축했다. 신경망은 수천 장의 개 사진의 패턴을 학습함으로써 개를 인식하는 법을 배운다. 또 전화 통화 내용을 분석해 구어체를 식별하는 법도 배운다. 이 신경망은 또, 두 연구원이 했던 것처럼, 트위터, 소셜 뉴스 웹사이트 레딧(Reddit), 그리고 이전의 온라인 해킹을 조사해 피싱 메시지를 쓰는 법도 거뜬히 배웠다.

오늘날, 이와 똑같은 수학적 기술이, 음성 인식에서 언어 번역에 이르기까지 마치 사람이 하는 것처럼 활약하고 있다. 그러나 많은 경우에서, 이 새로운 종류의 인공지능은 인터넷을 통해 사람들을 속이는 수단으로 활용되고 있다. 인터넷을 통한 대중 조작이 훨씬 쉬워진 것이다.

진짜처럼 보이는 가짜 이미지를 말하는, 소위 팁 페이크(Deepfake)를 생성하는 AI의 등장에 대해 기술업계 관찰자들은 우려를 표명하고 있다. 포르노 스타의 어깨 위에 다른 사람의 얼굴을 합성하는 방법으로 시작된 기술은 이제 어떤 이미지나 오디오를 그 어떤 비디오에도 표 안 나게 삽입하는 도구로 발전했다.

진짜처럼 보이는 가짜 이미지를 말하는, 소위 팁 페이크(Deepfake)를 생성하는 AI의 등장에 대해 기술업계의 우려가 커지고 있다. 출처= Fossbyte

지난해 4월, 뉴스 및 엔터테인먼트 웹사이트 버즈피드(BuzzFeed)와 코미디언 조던 필은 버락 오바마 대통령이 "우리는 인터넷에서 신뢰하는 것을 더욱 경계해야 한다"는 말을 직접 하는 것처럼 보이는 동영상을 공개했다(물론 가짜다).

이 위협은 연구원들이 보다 많은 양의 데이터를 완전히 소화하고 그를 통해 학습할 수 있는 시스템을 개발하면서 더욱 확대될 것이다. 신경망은 영상뿐만 아니라 소리도 진짜 같은 소리를 생성할 수 있다. 아마존의 에코나 애플의 시리 같은 디지털 도우미들은 과거의 기계음보다 더 사람같은 소리를 낼 것이다.

수년 동안, 전문가들은 신경망이 자연 언어의 코드를 깨트릴 수 있는지에 대해 의문을 제기했다. 그러나 최근 몇 달 사이에 기류는 완전히 바뀌었다. 구글이나 샌프란시스코의 독립 연구소 오픈AI(OpenAI) 같은 조직들은, 위키백과 기사부터 자작 로맨스 소설까지 모든 것을 분석해 언어의 예측 불가능한 변화까지도 광범위한 규모로 배울 수 있는 시스템을 구축했다. 이 시스템은 문장 한 단락을 읽고 그에 대한 질문에 답할 수 있다. 그들은 영화 평론을 읽고 그것이 긍정적 평가인지 부정적 평가인지를 판단할 수 있다.

이런 기술은 SNAP_R 같은 피싱봇의 능력을 향상시킬 수 있다. 오늘날 대부분의 트위터 봇은, 특히 우리가 대화를 계속 이어감에 따라 로봇임이 드러난다. 그러나 앞으로 그들은 인간과 똑같이 대화할 것이다. 이 기술은 음성 로봇이 전혀 어색하지 않게 인간과 계속 대화를 나눌 수 있게 할 것이다. 분명히 언젠가는 음성 로봇이 우리에게 전화해서 신용카드 정보를 누설하도록 설득할 것이다.

오픈AI의 잭 클라크 정책실장은, 머지 않은 미래에 몇몇 국가의 정부들은 다른 나라의 국민을 급진화시키거나 자국 국민에게 특정 관점을 강요하는 머신러닝 시스템을 만드는 것을 볼 수 있을 것이라고 주장했다.

"그것은 새로운 종류의 사회적 통제나 선전입니다. 정부는 개인들을 타깃으로 하는 캠페인을 만들 수도 있고 다수의 대중을 상대로 그런 조작을 할 수 있을 것입니다.”

가짜 뉴스를 탐지하는 것은 더 어렵다. 인간은 가짜 뉴스로 판명되는 것에는 동의하지 않는다. 하지만 기계도 그렇게 하기를 기대할 수 있을까? 만약 그것이 가능하다 해도, 우리는 그것을 원했을까? 아마도 잘못된 정보를 막는 유일한 방법은 사람들에게 온라인에서 보는 것을 결코 믿지 말라고 가르치는 것일 것이다. 하지만 그것이야말로 모든 방법 중 가장 어려운 해결책일지도 모른다.

"우리는 컴퓨터 시스템을 땜질하는 기술을 사용할 수 있습니다. 하지만 우리의 뇌를 땜질할 수는 없습니다.”

홍석윤 기자