유튜브는 사용자에 따라 다른 광고를 보여준다. SNS에서 마주하는 홍보성 게시물도 마찬가지다. 메일 계정을 살펴보면 모두 다른 스팸 메일을 받는다. 광고 문자, 전화도 사람마다 제각각이다. 알고리즘이 사용자의 나이, 성별, 직업, 소비 습관 등을 분석해서 사용자에게 가장 유혹적인 광고를 보여주는 전략을 취하기 때문이다.

그렇다고 알고리즘이 늘 성공하는 것은 아니다. 누구나 '왜 나한테 이런 광고를 보여주는 거지?' 의문이 들 때가 있을 것이다. 그 답은 알고리즘을 설계한 기업만 알고 있다. 그러나 기업은 절대 그 비밀을 알려주지 않는다. 그들은 '모형의 알고리즘이 비즈니스에 절대적으로 중요한 영업 비밀'이라고 주장한다. 하지만 모형 안에 차별적인 요소가 섞여 있다면 어떨까? 그리고 그 모형이 사회적 편견을 강화한다면?

캐시 오닐이 지은 <대량살상 수학무기> 5장 '무고한 희생자들-가난이 범죄가 되는 미래'를 살펴보면 펜실베이니아에 있는 소도시 레딩의 사례가 등장한다. 레딩은 재정 악화로 경찰 인력이 45명이나 감축되었고 이에 윌리엄 하임 경찰서장은 치안 공백을 메우기 위해 범죄 예측 소프트웨어를 도입한다.

이 프로그램은 시의 범죄 통계 데이터를 토대로 시간대별로 범죄 발생 가능성이 가장 높은 지역을 예측했다. 만약 표시한 지역들을 순찰하는데 더 많은 시간을 들인다면 줄어든 인력으로도 효율적으로 범죄에 대응할 수 있을 거라 기대했다. 아니나 다를까, 통계를 따져 보니 범죄율이 감소했다.

여기까지 보면 아주 공정한 모형처럼 보인다. 하지만 이 프로그램은 개인이 아니라 지리적 데이터에 온전히 집중했다. 그리고 이는 '가난한 동네는 위험하다' 혹은 '가난한 사람들은 대부분 범죄자이다'는 편견을 강화시켰다. 어떻게 이것이 가능했을까.

가난한 동네에서 경미한 범죄(부랑죄, 적극적인 구걸, 마약을 소량판매하고 복용하는 행위 등)는 흔한 일이었다. 당연히 그런 곳에서 더 많은 사람들이 체포당했다. 그 결과 경찰의 범죄 예측 모형에서 경범죄가 점점 더 많은 점을 차지했고, 이는 다시 경찰이 그 지역을 순찰하게 만들었다. 경찰들이 강도, 살인, 강간 같은 중범죄를 예방하기 위해 순찰을 돌더라도, 유난히 우범 지대로 분류된 동네에서 순찰이 길어졌다.

그곳에서의 범죄는 경찰이 현장에서 목격하지 않는 한 범죄로 기록되지 않을 정도로 경미한 범죄였지만 범죄 예측 모형은 중범죄와 경범죄를 구분하지 않았다. 이를 두고 작가는 '유해한 피드백 루프가 활성화되는 전형적인 과정'이라고 말한다. 위의 모형은 지역, 즉 거주지를 기반으로 사람을 차별하는 근거를 만들어냈다. 그것도 과학적으로.

이번엔 6장 '디지털 골상학-당신은 우리가 원하는 직원이 아닙니다'를 살펴보자. 카일 벰은 친구의 추천으로 크로거라는 종합유통업체에 취직하려고 했지만 면접 기회조차 얻지 못했다. 인성적성검사에서 부적격 판정을 받았다는 이유였다. 카일은 어쩔 수 없이 다른 회사에 지원서를 보냈다. 역시나 같은 결과가 돌아왔다. 모든 회사가 크로거와 동일한 검사를 실시하고 있었기 때문이다.

카일의 아버지 롤런드는 인성적성 검사를 실시하는 것은 불법이라며 7개 회사를 상대로 집단 소송을 제기했다. 핵심 사안은 인성적성 검사를 의학 검사로 볼 수 있는가이다. 1990년에 시행된 미국장애인법에 따르면, 채용 과정에서 의학 검사를 하는 것은 불법이다.

인적성검사를 해본 사람은 공감할 것이다. 문제를 풀다보면 기업이 어떤 인재상을 원하는지 어느 정도 감이 온다. 책임감 있고, 긍정적이고, 협력적이고, 인내심과 절제력이 있고, 감정 기복이 거의 없고……. 한 가지 확실한 건 '알고리즘은 개성을 싫어한다'는 점이다.

기업은 직원의 성공이 아니라 기업의 성공을 최우선으로 생각한다. 당연히 최대한 관리하기 쉬운 직원을 원한다. 그리하여 인적성검사를 '불순물을 걸러내듯 부적합하다고 여겨지는 지원자들을 가려내는 여과장치'로 이용한다.

사회생활을 하다보면 성격에도 우열이 나뉘는 것을 자연스럽게 습득하게 된다. 내향보다는 외향성, 배타적이기보다는 친화적, 충동적이기보다는 규칙적, 폐쇄적이기보다는 개방적인 사람이 어디서든 환영받는다. 우리는 이러한 우열 관계를 당연하게 받아들이고 여기에 차별은 없다고 생각한다. 과연 그럴까?

기업의 채용 공고 포스터에서 흔히 보이는 '회사원'은 어떤 모습인가? 업무에 집중한 표정, 자신 있게 발표하는 태도, 동료들과의 적극적인 소통 등이 강조된다. 인적성검사에서도 '사람들은 나를 화나게 하는 일을 많이 한다' 혹은 '해결할 문제가 많을 때 밝은 기분을 유지하기 힘들다' 등 성격을 직접 가늠하는 문항이 다수 포함되어 있다.

이러한 문항들은 '이상적인' 성격에서 한 발 벗어나 있는 지원자를 걸러낸다. 내성적이거나 충동적인 사람들 말이다. 이들은 고용 시장에 제대로 발도 내디디지 못하고 거절당하는 셈이다. 결국 실업자 중 이러한 성격이 차지하는 비중이 늘어나고 이는 성공하는 성격이 따로 있는 것 같은 고정 관념을 만들어낸다.

캐시 오닐은 '개인이든 기업이든 누가 모형을 만들었는지, 그리고 개발자가 모형을 통해 성취하려는 목표가 무엇인지 알아야 한다'고 말한다. 그리고 이러한 목표는 모두 한 곳을 향하고 있다고 주장한다. 바로 현실 질서 유지이다. 현실 질서란 무엇인가. 잘 사는 사람은 계속 잘 살고 못 사는 사람은 계속 못사는 것이다. 현재 존재하는 다수의 모형은 배타적이고 침략적이다. 저자는 아래와 같은 말로 모형의 비도덕성을 강하게 비난했다.

'사회적 통념에서 보면 가난의 병폐는 질병에 가깝다. 빈곤 퇴치 노력은 중산층에게까지 그 병폐가 확산되지 않도록 차단시키는 것이 전부다.'

모형은 일반화를 위해 개인의 개성을 무시한다. 개인이 속한 계급의 특성으로 개인을 이해한다. "당신은 이러한 상황에서 어떻게 행동할까?"가 아니라 "당신 같은 사람들은 이런 상황에서 어떻게 행동할까?"를 고민한다. 그리고 특정 계급에게 유리한 방향으로 결과값을 산출한다. '현실을 반영해 수정하기보다는 원하는 현실을 창조' 하는 쪽에 가깝다.

그러나 많은 사람들은 모형을 객관적이고 공정한 절차라고 받아들인다. 만약 아무런 편견 없는 사람이 만든 모형이라면 그럴지도 모른다. 하긴 컴퓨터가 무슨 죄가 있겠는가. '인간에게서 지원자들을 차별하는 법을 배운 컴퓨터는 인간들보다 한 술 더 떠서 기가 막힐 만큼 효율적으로 차별적인 심사'를 하고 있을 뿐이다.

문제는 기업에서 이것을 차별로 부르지 않는다는 점이다. 예를 들어 얼마 전부터 몇몇 유튜버들이 한국어 댓글이 '좋아요'를 더 많이 받았음에도 영어 댓글에 밀려난다는 사실을 발견했다. 대표적으로 '영국남자'가 그랬다.

'영국남자' 측은 구글에 이러한 점을 지적했고 구글은 이것이 오류가 아니라 고의적인 정렬이라고 답변했다. 한국채널에서 영어 댓글을 우선순위로 올리면 외국 시청자 유입에 도움이 되는지 실험을 하는 것이라고 했다. 대놓고 한국어 댓글을 차별했다고 밝힌 셈이다.

만약 댓글을 이용자의 인종별로 정렬했다면 어땠을까? 전형적인 백인 이름을 사용한 계정이나 프로필 사진에 백인 얼굴이 있는 댓글을 최상위로 고정하고, 흑인과 관련된 댓글을 고의적으로 뒤로 밀어냈다면? 아마 모두가 대놓고 인종차별을 한다고 지적했을 것이다. 하지만 인종이 아니라 언어를 차별한 처사는 그처럼 대대적인 반응을 불러오지 못했다.

이유가 뭘까. 언어가 차별받는 일은 너무 일상적이라 모두 둔감해졌던 것이다. 거의 모든 사람들이 '세계의 공용어는 영어'라는 인식을 갖고 있다. 하지만 언어를 사람과 연결해서 생각해보자. 한국어 사용자는 한국인이 절대 다수이고, 영어 사용자는 영어권 국가의 국민 모두가 해당된다. 언어 차별은 곧 비영어권에 속한 사람에게 소통의 기회를 차단하는 셈이다. 언어라는 비인격 뒤에 숨었을 뿐이지 언어 차별도 분명 인종 차별의 범주에 들어간다.

많은 사람들이 과학 기술이 발전될수록 권력이 분배되어 평등한 사회가 구축되리라 믿었다. 하지만 현실은 여전히 갈 길이 멀다. 캐시 오닐은 유해한 모형의 세 가지 요소로 불투명성, 확장성, 피해를 꼽았다. 이러한 모형들은 자기 강화를 통해 순위를 견고히 하고(음악 차트의 상위권에 오른 음원이 거기 있기 때문에 계속 소비자들의 선택을 받는 것이 이에 해당한다), 악순환을 통해 피해를 심화시키며, 확증편향과 허위상관에 의해 작동한다. 그리고 저자는 이러한 모형들을 두고 'WMD(Weapons of Math Destruction)', 즉 '대량살상 수학무기'라고 이름했다.