넷플릭스는 어떻게 최고의 추천시스템을 만들었나

최근 알파고 때문에 인공지능에 대한 관심이 높죠? 정부에서도 3.5조원을 들여 인공지능에 투자한다는 발표를 하기도 했습니다.

 

하지만 인공지능은 우리 주변에 이미 많이 사용되고 있는 기술입니다. 검색, 게임 등 다양한 분야에서 알파고가 사용한 인공지능  기술을 이용합니다.

 

이 중 가장 유용하게 활용되는 분야로 ‘개인화 추천’ 시스템을 들 수 있습니다. 내가 무엇을 좋아하는지 컴퓨터가 파악해 미리 보여주는 것입니다. 기업들은 이미 이를 이용해 많은 수익을 올리고 있습니다. 웹사이트에 뜨는 구글의 디스플레이 광고에도 이런 기술이 들어가 있고, 네이버 검색에도 유사한 기술이 사용됩니다.

이런 추천 시스템을 가장 잘 활용하는 회사로 넷플릭스를 꼽을 수 있습니다. 정교한 추천 시스템이 없었다면 넷플릭스는 성공할 수 없었다고 해도 과언이 아닙니다.  넷플릭스의 추천 시스템이 비용을 절감할 수 있는 결정적 역할을 했기 때문입니다.

 

지금은 넷플릭스가 온라인 VOD 서비스 업체로 자리잡았지만, 처음에는 우편으로 DVD를 빌려주는 회사로 시작했습니다. 우편으로 DVD를 빌려주면 대여와 회수에 걸리는 시간이 일반 비디오 대여점보다 길다는 단점이 있습니다.

넷플릭스의 DVD 배달 봉투

문제는 사람들이 최신작이나 인기작을 주로 빌린다는 점입니다. 아무리 다양한 영화를 구비해 놓아도 최신작만 빌려가면 순환이 제대로 되지 않습니다. 이를 극복하기 위해서는 많은 신작을 구매해야 해서 비용이 늘어납니다. 흥행이 끝난 영화는 더 이상 가치를 발휘하지 못하고 재고비용만 늘립니다.

 

넷플릭스의 이런 고민을 해결한 것이 추천 시스템입니다. 넷플릭스는 이용자 개개인의 취향에 맞는 영화를 추천해줍니다. 비록 몇 년 전에 나온 영화라도 내가 좋아할만한 영화를 알려주는 것입니다. 고객들이 이 추천시스템을 신뢰하게 되면서, 최신작이 아니라 오래된 영화를 빌려가는 고객이 늘어났습니다. 이는 신작구매 비용과 재고 비용을 줄여 넷플릭스의 수익구조를 개선했습니다.

넷플릭스의 추천시스템은 인공지능 기술인 머신러닝, 딥러닝 등을 활용한 것으로 알려져 있습니다. 그렇다면 넷플릭스는 어떻게 이런 기술을 확보했을까요?

 

흥미로운 점은 이 기술이 100% 넷플릭스 내부에서 개발된 것이 아니라는 점입니다.

 

넷플릭스는 2006년 ‘넷플릭스 프라이즈’라는 기술 콘테스트를 개최합니다. 넷플릭스의 추천 시스템인 ‘시네매치’의 품질을 10% 개선하는 사람에게 100만 달러(약 12억원)를 주겠다는 콘텐스트입니다.

넷플릭스 프라이즈 메달

넷플릭스 프라이즈가 발표되자마자 전 세계에서 5000팀이 달려들었고, 3년 동안 186개국에서 4만팀 이상의 데이터 분석가들이 넷플릭스 추천시스템의 성능 개선을 위해 뛰어들었습니다.

 

이 대회에서 ‘벨코어의 실용적 혼돈’이라는 팀이 우승을 차지합니다.  AT&T 벨 연구소 소속 연구원 세 명이 ‘벨코어’라는 팀으로 시작했는데, 호주의 ‘대혼돈’이라는 팀과 결합해 ‘벨코어와 대혼돈’이라는 팀이 됐다가 ‘실용주의’라는 팀과 다시 결합해 ‘벨코어의 실용적 혼돈’이 됐습니다.

 

이들은 3년 만에 넷플릭스 시네매치의 정확도를 10% 개선하는데 성공합니다.

우승팀 ‘벨코어의 실용적 혼돈’

그렇다면 왜 이렇게 많은 데이터 과학자들이 넷플릭스 프라이즈에 참가했을까요?  우승팀이 AT&T 소속의 연구원임에서 볼 수 있듯, 개인뿐 아니라 유명 회사의 연구원들도 이 대회에 참가했습니다. 단순히 100만 달러라는 상금이 탐났기 때문일까요?

물론 상금도 중요한 유인책이기는 했지만, 전 세계 데이터 과학자를 흥분시킨 것은 넷플릭스의 방대한 데이터였습니다. 넷플릭스 직원들이 일일이 만든 영화에 대한 메타데이터, 사용자들의 평점 데이터 등 어디서도 구할 수 없는 데이터를 넷플릭스가 제공했기 때문입니다.

넷플릭스는 영화에 대한 각종 데이터와 사용자 평점 데이터를 보유하고 있다

이런 데이터들은 넷플릭스의 핵심 자산이라고 할 수 있지만, 넷플릭스는 이를 과감하게 참가자들에게 공개해서 혁신을 일으킬 수 있었습니다.데이터 과학자들은 100만 달러의 상금을 타지 못한다고 하더라도 이런 데이터를 가지고 이것저것 테스트 해 볼 수 있다는 것만으로도 충분히 좋은 기회라고 생각했습니다.

 

이처럼 외부의 역량을 이용해 내부의 혁신을 일으키는 방식을 두고 ‘오픈 이노베이션’이라고 부릅니다.

넷플릭스 이외에도 많은 기업들이 오픈 이노베이션을 통해 혁신을 이루곤 합니다. P&G는 신제품의 50%를 외부의 기술로 개발하고, 레고도 ‘레고 아이디어스’라는 사이트를 통해 신제품 아이디어를 이용자들로부터 얻습니다.

 

이런 오픈 이노베이션 기법을 도입한 넷플릭스는 단돈 12억원으로 추천시스템을 혁신하는데 성공합니다. 반면 우리 정부는 3조5000억원을 들여(라고 쓰고 기업들로부터 뜯어낸다고 읽는다) 인공지능 기술을 개발한다고 하니, 우려가 됩니다.

 

글. 심재석 기자