편견·차별 부르는 AI 알고리즘…해법은 있을까

알고리즘의 ‘공정성’ 논란

흑인 재범 가능성 더 높게 예측

알고리즘 수정만으론 해결 곤란

데이터 수집 단계서도 편향 개입

“철학에 수학 적용…유연성 잃어”

인공지능 알고리즘은 사람처럼 부주의와 실수, 차별과 편견과 같은 오류와 비효율에 빠지지 않고 정확하고 효과적인 결과를 가져올 것이라는 기대를 받았다. 하지만 현실은 달랐다. 알고리즘은 개인 용도의 서비스를 넘어 채용 면접, 대출 심사, 연인 소개 등 생활의 주요 문제는 물론 형사 피의자의 구속 여부를 결정하는 사법 영역에까지 적용 범위를 넓혀가면서 새로운 차별과 편견 문제를 일으키고 있다. 예컨대 얼굴 인식과 피의자 재범 가능성 예측에서 유색인을 차별하는 사례가 알려졌다. 이에 따라 알고리즘의 편견과 오류를 바로잡으려는 시도들이 진행되고 있다. 알고리즘의 판단을 이끌어내는 데이터의 편향성과 판단의 매개변수를 바로잡기 위해 한쪽으로 치우친 데이터 세트를 균형 있게 보강하고 매개변수의 설정을 조정하는 시도가 나타나고 있다.

#1. 매개변수 설정값을 더 공정하게

2016년 미국의 독립언론 <프로퍼블리카>는 탐사보도를 통해, 미국 여러 주 법원에서 사용하고 있는 알고리즘 콤파스(COMPAS)가 흑인을 차별한다는 사실을 밝혀냈다. 콤파스는 피고의 범죄 참여, 생활 방식, 성격과 태도, 가족과 사회적 배제 등을 점수로 환산해 재범 가능성을 계산해 판사에게 구속 여부를 추천하는 알고리즘이다. 콤파스는 인종을 변수로 포함하고 있지 않다. 그런데도 흑인의 재범 가능성을 백인보다 2배 위험하다고 판단했다. 이는 흑인들의 무고한 수감으로 이어졌다.

최근 미국의 <엠아이티(MIT) 테크놀로지 리뷰>는 흑인을 차별한 콤파스의 알고리즘을 어떻게 수정하면 공정한 결과를 내놓을 수 있을지에 대한 실험을 진행했다. <프로퍼블리카>가 탐사보도에 활용한 것과 같은 2013~2014년 플로리다 브로와드 카운티에서 콤파스 알고리즘의 판단을 받은 7200여 피고인 중 흑인 500명을 무작위 추출해 이들이 실제 재범을 저지르거나 재판에 불응해 결국 체포된 경우를 조사했다. <엠아이티 테크놀로지 리뷰>는 흑인들의 억울한 수감을 막으려면 어떻게 알고리즘 설정값을 조정할 수 있는지 다양한 조정을 진행했다. 콤파스는 인종을 고려하지 않지만 다양한 정보를 종합한 결과, 흑인 피고의 재범 가능성은 실제보다 크게, 백인 피고의 재범 가능성은 실제보다 낮게 설정하고 있었다. 이를 해결하기 위해 변수를 조정해 인종과 관계없이 동일한 수감 비율이 적용되도록 했더니, 동일 범행에 대해 인종별로 다른 처벌을 하는 결과가 됐다. 원인은 재판 단계 이전에 있었다. 흑인과 백인 피고는 범행 뒤 검거되는 비율이 달랐기 때문이다. 브로와드 카운티 자료에서 흑인 피고는 52%가 체포됐지만, 백인 피고는 39%만이 체포됐다. 이는 알고리즘을 수정하는 것으로는 불공정 문제를 근본적으로 해결할 수 없다는 점을 드러낸다.

#2. 데이터 수집 단계의 다양성 확보

그렇다면 데이터 수집 단계에서 최대한의 공정성과 다양성을 확보하면 알고리즘 처리 단계의 오류를 바로잡을 수 있을까? 지난 2일 미국의 <데일리뉴스>는 인공지능 알고리즘의 ‘백인 남자 과다대표 문제(화이트 가이)’를 해결하기 위해 구글이 시도한 정보 수집 행위를 보도했다. 이 보도에 따르면, 구글은 계약업체를 고용해 애틀랜타, 로스앤젤레스 등 대학 캠퍼스에서 흑인 등 유색인종에게 접근해 구글의 최신 스마트폰인 픽셀4로 사진을 찍을 경우 5달러짜리 스타벅스 상품권을 제공했다. 구글은 데이터 수집 조건을 따지지 않고 상품권을 가장 필요로 할 노숙자 등에게 접근하도록 격려했다는 혐의를 받았다. 스캔에 동의한 학생들은 상품권과 교환하는 조건으로 스냅챗 필터와 비슷한 ‘셀카 게임’을 하거나 픽셀4를 갖고 놀라는 권유만 받았다고 말했다. 유색인종을 대상으로 한 기만적인 생체정보 수집이 알려지자 구글은 이를 중단했다. 편향 정보를 다양성 있는 정보로 보강하는 길이 쉽지 않음을 보여준 사례다.

캘리포니아대학의 앤드루 셀브스트 교수는 <엠아이티 테크놀로지 리뷰>에 알고리즘의 효용성이 가치가 있지만 “공정성이라는 철학적 개념을 수학적 표현으로 바꿀 때마다 그 미묘함, 유연성, 융통성을 잃게 된다”고 말했다.

구본권 선임기자 starry9@hani.co.kr