쿠팡·네이버·카카오 이커머스가 그리는 미래는? #1

Summary

- 쿠팡, 네이버, 카카오를 중심으로 살펴보는 이커머스의 미래

- 쿠팡과 네이버의 시장 점유율은 27%에 불과하나, 최근 2년간 유의미한 상승 추세

- 쿠팡은 대규모 투자를 바탕으로 로켓배송 중심의 성장

- 단순 상품 추천에서 실시간 개인화로 변화하는 쿠팡의 상품 추천 알고리즘

 

© iStock

 

한국은 전자 상거래에 이상적인 시장이다. 인구밀도가 높고, 인터넷 및 스마트폰 보급률이 98%에 달하며, 초고속 네트워크를 자랑한다. 이러한 환경 덕분에 전자상거래와 배송 등 물류망이 더욱 원활하게 이동하고 있다. 하지만 높은 이커머스 침투율에도 쿠팡과 네이버라는 상위 2개 업체의 시장점유율은 2020년 27%에 불과하다. 이커머스 시장은 진입장벽이 낮고 인프라가 풍부해 경쟁사가 좋은 모델을 기반으로 빠르게 따라잡을 수 있기 때문이다. 결국, 이커머스 시장을 선점하기 위해서는 혁신이 필요하다.

 

 

이커머스 시장 80%를 차지하는 생필품 이커머스 시장 대부분을 차지하는 생필품 시장에서 강자가 되려면 초저가 상품이 많아야 하고, 검색과 배송의 편의성(SPC)이 있어야 한다. 치열한 가격 경쟁이 존재하는 영역이기도 하다. 또한 특이하게 퀵커머스 시장이 형성되고 있는데, 30분~1시간 내의 빠른 배송을 만드는 업체들이 성장하고 있다. 현재는 계획구매와 긴급구매로 나뉘어 있지만 소비자가 상품을 주문하지 않아도 고객 수요를 예측해서 배송해 주는 자동 배송, 자동 결제, 자동 충족 중심 시장으로 진화하면 결국 1~2개 업체만 살아남을 것이라고 본다.

 

한국에서 주로 선호하는 이커머스 플랫폼

© 오픈서베이 2020

 

쿠팡·네이버 왕국의 구축 오픈서베이(Open Survey)가 실시한 2020년 설문조사에 따르면, 최근 2년간 쿠팡과 네이버의 점유율이 유의미하게 상승한 것으로 나타났다. 소비자들은 '빠른 배송'과 '편리한 결제 시스템' 때문에 쿠팡과 네이버를 주로 사용한다고 답했다. 다른 플랫폼의 경우 '다양한 할인 오퍼링'과 '저가'를 가장 큰 이유로 꼽은 것과 대조적이다.

무엇보다 소비자들은 가장 좋은 상품을 찾기 위해 네이버의 가격 비교 기능에 의존하기 때문에, 네이버에 대한 트래픽 의존이 심화되고 있다. 네이버는 자사 결제 솔루션을 활용하여 네이버 스마트스토어에 대한 전자상거래 트래픽을 빠르게 내재화하였다. 단편화된 전자상거래 시장 환경에 힘입어 네이버 스마트스토어라는 독점 사내 쇼핑 플랫폼을 구축하고, 네이버 페이(온라인 결제)를 활용하여 전자상거래 사업을 확장하여, 검색 기능을 전자 상거래와 통합시켰다.

 

© 네이버 가격 비교 기능 캡처

 

쿠팡의 공격적인 1P 전략 쿠팡은 경쟁업체로 하여금 수익성에 집중하게 하는 방식으로 경쟁력을 약화시키고 있다. 소프트뱅크가 쿠팡에 자본을 잇달아 투입하면서부터다. 2016년부터 주요 전자상거래 플랫폼(이베이코리아, WMP, TMON, 인터파크 등)의 영업이익률이 개선되기 시작했으나, 고객 환경 및 기술 프로모션, 혁신 투자에 관심을 두지 않으면서 경쟁업체들의 거래액(GMV) 성장률은 12%(2015-2020)로 둔화됐다. 이 기간 동안 쿠팡은 지속적으로 투자 및 사업을 확장하면서 영업손실이 확대되었으나, 2015년~20년 연평균 성장률(CAGR) 64%를 기록하며 경쟁사보다 5배 가까이 앞서게 됐다.

 

2016년 이후 한국 주요 이커머스 플랫폼 업체들의 영업이익 개선

 

주요 이커머스 업체들의 거래액 성장률은 지난 5년간 12%였으나 쿠팡은 64% 기록

 

지속적인 투자와 사업 확대로 쿠팡 영업손실 확대

 

쿠팡은 모바일 앱의 혁신과 자체적인 엔드 투 엔드 물류(풀필먼트, 라스트 마일 등) 투자로 1P 중심의 전국적인 물류 네트워크를 구축했다. 그러면서 로켓 배송이 핵심 서비스로 자리잡았다. (미국에서 높은 밸류에이션을 받은 이유 중 하나도 로켓 배송 때문이다.)

 

쿠팡의 추천 시스템 변천사 쿠팡의 추천 시스템(알고리즘)을 보면, 단순 상품 추천에서 실시간 개인화로 가고 있다. 대략적인 알고리즘은 다음과 같다.

 

 

기존에는 아이템과 아이템 간의 관계 위주로 제품을 선정해서 보여주었다. 특정 카테고리에서 내가 자주 본 제품을 추천하는 방식이다.

 

 

이를 보완하기 위해 다중 맥락을 고려해서 제품을 추천하고, UI의 개인화를 시행했다.

 

 

과거 추천 시스템은 추천 모델 중심으로 아이템과 아이템 간의 관계가 중요했다.

 

 

따라서 모델 아키텍처는 굉장히 복잡했던 반면 서버 쪽 아키텍처는 매우 단순했다. 추천 모델의 파이프라인 결과 테이블이 추천 서비스 전체를 결정했기 때문에, 서버는 어떤 Product ID에 대해 다른 제품 ID를 점수 순서대로 돌려주는 핵심 밸류 스토리지를 찾아내는 것으로 충분했다. 유저나 카테고리 등 여러 컨텍스트를 고려하지 않고도 상품이 linear 하게 증가했기 때문에 무리 없이 캐시를 사용해서 낮은 latency 유지가 가능했다.

그러나 모델 변경에 따라 파이프라인이 길어지고, 추가 요청사항 처리가 어렵다는 단점이 있었다. 또한, 완성 전까지 결과를 알 수 없고 개발에 시간이 오래 걸리기도 했다. 상품과 유저 정보는 데이터가 생성될 때만 접근이 가능했기에 API 서버에서 서빙 시 다른 컨텍스트(상품, 유저정보 등)을 이용하는 것이 불가능했다. 그리고 모델 재활용이 안돼서 하나의 컨텍스트가 추가될 때마다 모델을 새로 짜야 하는 번거로움이 발생했다.

 

 

이를 개선하기 위해 현재는 추천 모델과 서비스를 분리하고 추천 모델에 검색 엔진을 사용하게 됐다.

 

최종 플랫폼

 

 

Feature-HBASE → 인덱싱

• 추천 모델들로 상품과의 연관성(피처)를 생성하여 인덱싱한다. 검색도 상품에 대한 정보를 잘 가지고 있어야 쿼리가 들어왔을 때 해당 상품을 잘 보여줄 수 있다.
• 그리고 나면 상품에 대한 정보를 잘 나타낼 수 있는 피처로 만들어서 주기적으로 업데이트한 뒤 HBase에 저장한다.
• 검색팀과 추천팀은 각각의 column family를 두고 프로토콜 버퍼로 각자 관리하는 데이터를 저장한다.

 

 

프로토콜 버퍼는 위와 같은 방식으로, 압축 효율성이 높다.

• 상품 그 자체가 가지고 있는 피처 (이미지, 가격, 카테고리, 리뷰)
• 다른 어떤 상품에 몇 점의 점수로 추천이 나갈 수 있는지에 대한 것도 반복 필드로 두고 있다.

 

중앙화된 상품 정보

 

• 위의 정보들을 Hbase에서 꺼내 현재 상품에 대해 어떤 상품이 검색되어야 하는지를 페이로드로 reverse 인덱싱 한다.

 

 

• 컨텍스트와 관련된 상품을 찾고 조건에 따라 필터링해서 점수에 따라 정렬한다.
• 컨텍스트는 query handler cluster라는 별도의 클러스터가 컨텍스트를 정의한다.
• Query handler cluster는 다음과 같이 정의한다. (서비스의 정의)

 

 

• 이러한 알고리즘을 통해 추천 영역 수는 1년간 7배 증가했으며, 클릭 수도 무한대로 증가했다.
• 기존에는 새로운 서비스를 출시하려면 1달 정도 소요되었는데, 현재는 하루 만에 가능해졌다.

 

 

더 나은 추천을 위한 피처 개발 – LTR (머신러닝으로 계산된 스코어를 기반으로 정렬하는 것)

• 피처가 많아질수록 모델에 적용할 때 어떻게 가중치를 처리할지 매뉴얼로 정하는 것은 비효율적이다. 이에 쿼리 튜닝을 모델에게 맡긴다.
  • 상품 피처 + 상품 연관성 피처 = 추천 후보상품의 피처 벡터가 생성
  • 적당한 라벨로 머신러닝 모델을 학습시키면 이 상품의 점수가 되고, 서치 클러스터 노드는 각각의 추천 후보 상품을 모델을 참조해 리랭킹한다. 모델의 결과가 이상할 수도 있으므로 리뷰 등으로 보정한다.
  • 트레이닝을 하려면 어떤 상품이 어떤 피처를 가지고 추천되었고, 반응은 어떤지 알아야 한다. 이때 새로운 피처를 도입하면 이 피처에 대해서는 로그가 없기 때문에 LTR 학습을 바로 적용할 수 없다.
    • 로그를 사용하여 쿼리를 재현하여 작은 클로스터를 띄워서 사용하고 유저의 반응은 2~3일에 한 번씩 반영한다.
  • 실시간 개인화는 사용자 분석 모델(선호 카테고리, 가격대, 브랜드) 등을 참조하여 유저 상품과 연관성을 짓는다.

 

 

* 다음 편에 이어집니다.