AI로 인해 한층 쉬워진 디지털 성범죄

2024년 8월 말 공론화된 텔레그램 딥페이크 성착취물 범죄는 우리 사회에 충격을 던졌다. 일반인 여성을 표적으로 한 디지털 성폭력이 폭넓게 발생한 점, 제작유통망이 사실상 산업화한 점, 피해자와 가해자 모두에 미성년자가 포함된 점 등 경악할 특징을 두루 갖춘 사건이다.

이후 정치권에서는 딥페이크 성착취물 관련 처벌 공백을 보완하기 위한 논의와 입법이 급하게 진행되었고, 딥페이크 성착취물 소지·시청을 처벌할 수 있게끔 하는 성폭력처벌법 개정안이 10월부터 시행되었다. 반가운 대응이지만 가해자 수사, 피해자의 보호와 회복, 사회적 인식 개선, 안전한 디지털 공간 구축 등 수많은 과제가 아직 남아 있다.

AI 기술의 발전으로 이미지 합성이 쉬워지면서 이미지를 활용한 성폭력이 증가하리라는 전망은 지난 수년간 각종 연구 및 언론 보도 등의 경고와 세계적으로 발생한 실제 사례를 통해 꾸준히 확인된 바 있다. 따라서 지금의 상황은 우리 사회가 예측할 수 있었고, 미리 대비했어야 했다는 점에서 더욱 아쉬움을 남긴다. 이제라도 문제를 타개하기 위해서는 어떻게 해야 할까?

딥페이크 성범죄에는 여러 기술적 조건, 사회적 맥락, 이해관계자가 연루되어 있기에, 문제 인식과 해법 또한 이런 기술-사회적 관계를 고려해야 한다.

딥페이크 성착취물 제작·유통·소비는 디지털 성범죄의 한 형태다. 한국여성인권진흥원에 따르면 디지털 성범죄(성폭력)는 디지털 기기 및 정보통신기술을 매개로 온·오프라인상에서 발생하는 젠더기반폭력, 즉 기술매개 젠더기반폭력을 가리키는 용어로 피해자가 단지 여성이라는 이유, 그리고 디지털 환경에서 존재한다는 이유만으로 표적이 되는 특징이 있다. 한국 사회에서 비동의 유포 및 유포 협박, 성적 괴롭힘, 유통 등의 디지털 성범죄는 딥페이크 이전에도 N번방, 웹하드 카르텔, 소라넷 등 웹·메신저 기반 익명 커뮤니티에서 꾸준히 발생해 왔다.

이번 사태는 이러한 디지털 성범죄 산업의 흐름이 딥페이크, 즉 인물 모사를 자동화하는 생성형 AI 기술의 보급과 만난 지점에 자리한다. 이미지·영상 합성이 손쉬워짐에 따라 성착취물에 피해자의 얼굴을 합성하는 것뿐만 아니라 피해자의 사진을 변형해 임의의 성적 상황을 묘사하는 등 다양한 가해 수법이 가능해졌다. 이런 기능을 제공하는 AI 모델은 상업 서비스의 모습을 띠기도 하고 개인이 실행할 수 있는 파일 형태로 공개 유통되기도 한다. 일각에서는 기존 모델을 미세조정하여 특정 유형의 이미지(성착취물) 생성 성능을 향상한 버전을 제작·배포·거래한다. 의뢰자가 요청한 대로 AI 이미지를 생성해 주는 제작 대행 서비스 또한 성행하고 있다.

생성형 AI와 자동화된 성착취

이미지 합성을 쉽게 만드는 기술이라는 점이 생성형 AI 기술과 디지털 성폭력의 유일한 연관성은 아니다. 오히려 생성형 AI는 기술 구축과 활용의 전 과정에 걸쳐 성착취와 관계 맺고 있다. 생성형 AI는 방대한 양의 데이터에서 패턴을 추출하는 '학습' 과정을 거친 뒤 그 패턴을 재구현하는 식으로 작동한다. 이러한 데이터 중 상당량은 인터넷에서 오며, 그중에는 포르노 사이트부터 인터넷 게시판까지 다양한 웹페이지가 들어 있다. 각종 여성혐오적 표현, 신체를 대상화하는 이미지 등 인터넷에 표현된 우리 사회의 성착취 구조는 데이터셋을 거쳐 우리가 사용하는 AI 모델에 반영된다.

이런 데이터를 활용해 만들어진 대표적인 이미지 생성형 AI 모델은 '스테이블 디퓨전'(Stable Diffusion, 이하 SD)이다. SD를 제작한 스타트업 '스태빌리티AI'는 2022년 SD 모델을 오픈 소스로 공개하면서 유명세를 얻었다. 스태빌리티AI는 당시 이용자에게 SD를 "윤리적, 도덕적, 합법적으로 사용"해 달라고 당부했지만 레딧, 4chan 등 익명 커뮤니티 이용자들이 곧바로 SD를 개조하여 성착취물을 만들기 시작했다.
여성에 대한 성착취를 담은 시각적·언어적 표현이 인터넷을 거쳐 각종 데이터셋에 포함되고, 해당 데이터를 학습한 AI 모델은 유사한 시각적·언어적 표현을 재구현하는 기능을 장착하며, 이런 AI 모델을 활용해 다시금 여성에 대한 성폭력이 이루어지는 자동화된 성착취의 악순환 구조다.

디지털 성범죄의 맥락에서 AI 기술은 여성의 평범한 사진을 동의 없이 성적으로 활용하는 일을 쉽게 만들고, 그 파급효과를 더욱 크게 만든다. AI 시스템을 구축할 때 필요한 데이터 속 여성의 신체 이미지 역시도 대개는 당사자의 동의 없이 AI 학습에 활용되고 있다. 나아가 데이터 속 성착취물 등 원본 이미지 또한 여성의 동의 없이 생산되었거나, 그렇지 않더라도 여성 신체를 성적 대상화하는 사회적 권력 구조 속에서 만들어졌음을 지적할 수 있다. 즉 AI 기술은 생산부터 활용에 이르기까지 전 생애주기에 걸쳐 여성의 신체에 대한 통제능력(자기결정권)을 당사자로부터 빼앗아 타자(디지털 성폭력 가해자, AI 시스템 개발자, 기업 등)에게 넘겨주는 방식으로 작용하는 것이다.

누가, 어떻게 대응할 것인가?

딥페이크 성폭력 공론화 이후 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치가 자주 거론되지만 이것만으로는 충분하지 않다. 딥페이크 성폭력은 상용 서비스뿐만 아니라 오픈 소스 도구를 활용하여 그 생태계가 복잡하다는 것이 한 가지 이유고, 단지 기술적 문제가 아니라 사회의 성착취 구조 안에서 발생하는 문제여서 해결책 또한 사회적으로 접근해야 한다는 것이 두 번째 이유다.

디지털 성폭력에 생성형 AI 기술이 활용된다는 것은 디지털 성폭력에 대응할 수 있는 기존의 이해관계자(콘텐츠가 유통되는 웹·메신저 플랫폼, 규제·수사 당국, 일반 이용자 등) 지형에 AI 플랫폼, 클라우드 기업, 오픈 소스 개발 커뮤니티 등 새로운 행위자가 등장함을 의미한다. 따라서 딥페이크 성범죄 대응에는 이들의 역할을 고려한 다양한 협력이 요청된다.

AI 윤리 전문가 루먼 초두리는 생성형 AI가 디지털 성폭력에 미치는 영향을 다룬 UNESCO 보고서에서 이해관계자별 대응 방안을 제안한다.¹ 일부를 추려 살펴보면 다음과 같다.


여기에 더해 딥페이크 성착취물에 특화된 AI 모델의 개발 및 이용에 개입하기 위해서는 AI 학습용 데이터셋 구축·활용 시 성착취물을 탐지·제거하고, 성착취물을 데이터로 학습했거나 생성할 수 있는 AI 모델(미세 조정 모델 포함)을 제거·검색 차단·결제 차단하는 등의 조치를 고려할 수 있다.

이를 위해서는 AI 기업이나 오픈 소스 개발 커뮤니티뿐만 아니라 이들이 활용하는 데이터셋·모델 호스팅 플랫폼, 나아가 이런 활동이 이루어지는 클라우드 인프라 기업까지 다양한 주체의 전방위적 협력이 필요하며, 시민사회와 정부는 이들에 대한 압력을 가할 수 있어야 한다. 아울러 AI 업계의 고질적 문제인 다양성 부족은 다양한 관점의 부재, 가치관 획일화로 이어져 젠더기반폭력과 같은 위험 대응 역량을 약화시킨다. 관련 분야의 젠더 다양성 또한 개선이 필요한 영역이다.²

생성형 AI의 발전은 기술매개 젠더기반폭력의 심화와 맞물려 있으며, 이에 맞서 연구기관 및 기업, 시민사회, 정부, 시민 등 다양한 이해관계자의 노력과 인식 개선이 필요하다. 이 기술이 성착취를 강화하는 방향으로 만들어지고 이용되는 것은 필연이 아니며 우리 사회의 대응에 달려 있다. 디지털 성폭력에 대응하기 위한 노력은 우리 사회와 AI 기술의 안전하고 윤리적인 관계맺음과 연결된다. 특히 성폭력이 단지 가해자의 문제만이 아니며 기술과 산업의 작동 방식 자체에 성착취적인 요소가 있음을 인지할 때 우리는 성폭력에 복무하는 AI 말고 공동체의 이익에 기여하는 기술을 누릴 수 있을 것이다.

성폭력이 단지 가해자의 문제만이 아니며 기술과 산업의 작동 방식 자체에 성착취적인 요소가 있음을 인지할 때 우리는 성폭력에 복무하는 AI 말고 공동체의 이익에 기여하는 기술을 누릴 수 있을 것이다.

각주
1) Rumman Chowdhury, Dhanya Lakshmi. "Your opinion doesn't matter, anyway": exposing technology-facilitated gender-based violence in an era of generative AI (UNESCO 2023).
2) AI 윤리 레터 (2024. 4. 2.), "한국 여성이 AI를 말할 곳은?"

글 고아침 에디터'AI 윤리 레터' 필진

📌본 칼럼이 포함된 〈월간참여사회〉 11월호는 다음 링크를 통해 참여연대 홈페이지에서 확인하실 수 있습니다. ▶ https://pp21.org/XFSM7R