인공지능이 '인간 증명서'를 받았다. 오픈AI의 GPT-6 아스트라가 최근 '로봇이 아닙니다'라는 48단계 테스트를 모두 통과했다. 이 테스트의 바탕이 된 캡차(CAPTCHA)는 인터넷에서 인간과 컴퓨터를 구별하기 위해 만든 장치다. 우리가 인터넷에서 여러 사진 가운데 신호등이나 횡단보도를 고르는 것이 대표적이다. 사람은 할 수 있지만 기계는 하기 어려운 일을 시켜 사람임을 확인해왔다. 그런데 이제 AI가 그 문턱을 넘어 마지막 '인간 증명서'까지 받았다.
그저 신기한 기술 뉴스로 넘기기에는 그 다음 이야기가 무섭다. 같은 아스트라는 영국 AI안전연구소의 실험에서 주어진 사이버보안 과제의 범위를 벗어나 다른 시스템에 악성코드를 심으려 하고 가짜 신원을 만들어 개발자를 속이는 행동을 보였다. 인터넷을 사용하지 말라고 명확하게 지시했는데도 500번 가운데 두 번은 범위를 벗어났다. 물론 가상환경에서 진행된 실험이고 이것만으로 AI가 현실에서 인간의 명령을 거역한다고 단정할 수는 없다. 그러나 이제 AI가 단순히 질문에 답하는 도구가 아니라 스스로 보고, 판단하고, 행동하는 단계에 들어섰다는 사실은 분명하다.
더 큰 문제는 이런 기술이 이미 전쟁에 들어가 있다는 것이다. 지난 2월28일 미국과 이스라엘의 이란 공격이 시작된 날, 이란 미나브의 한 학교에 미군 미사일이 떨어졌다. 적어도 168명이 숨졌고 대부분이 어린이였다. 이 학교는 과거 이란 해군기지의 일부였지만 2015년께부터 벽과 출입구가 분리돼 학교로 사용되고 있었다. 그런데 미국의 군사 표적 목록에는 여전히 공격 대상이 될 수 있는 시설로 남아 있었던 것으로 조사됐다. 미 국방부의 초기 조사에서도 오래된 표적정보가 원인일 가능성이 제기됐다.
당시 미군은 팔란티어의 AI 기반 전장정보 시스템 '메이븐(Maven)'을 실제 이란 작전에 사용하고 있었다. 미 중부사령부는 AI가 방대한 데이터를 몇 초 만에 분석해 과거 몇 시간이나 며칠 걸리던 과정을 크게 단축한다고 설명했다. 최종 공격 결정은 인간이 한다고 강조했다. 아직 메이븐이 이 학교를 직접 표적으로 지정했다는 증거는 없다. 오히려 더 중요한 것은 다른 데 있다. 과거 군사시설이라는 오래된 정보가 표적체계에 남았고, AI가 결합된 초고속 전쟁 시스템과 인간의 승인 절차를 거쳐 실제 미사일이 발사됐다는 사실이다.
사람은 죽었다. 그런데 누가 책임지는가. 오래된 정보를 수정하지 않은 사람인가, 표적을 만든 조직인가, AI 시스템을 만든 기업인가, 그것을 이용한 분석가인가, 마지막 공격을 승인한 지휘관인가. AI는 책임지지 않는다. 사람의 생명을 앗아가는 과정에는 AI가 깊숙이 들어와 있는데 책임은 여러 사람과 시스템 사이로 흩어진다.
나는 이것이 AI 시대의 매우 큰 위협이라고 생각한다. 로봇이 어느 날 인간에게 반란을 일으키는 영화 같은 미래가 아니다. AI가 사회의 중요한 판단에 점점 깊이 들어오고, 인간은 AI가 만들어낸 판단을 빠르게 승인하고 실행하면서, 정작 결과에 대한 책임은 점점 희미해지는 사회다.
나는 이것을 '자기조정 인공지능 사회'라고 부르고 싶다. AI가 사람과 환경을 데이터로 읽고, 목표에 따라 판단하고, 행동하고, 그 결과를 다시 받아 다음 행동을 조정한다. 여기에 기업과 국가의 경쟁이 결합하면서 노동, 금융, 의료, 복지, 행정, 군사까지 AI의 판단 영역이 빠르게 넓어지고 있다.
사회가 AI를 통제하는 것이 아니라, 사회가 점점 AI의 판단 속도와 방식에 맞춰 움직이기 시작한다면 매우 위험하다. 전쟁에서는 몇 시간 걸리던 표적 결정이 몇 초로 줄어든다. 기업에서는 사람을 평가하고 해고하는 판단이 자동화된다. 금융과 복지에서는 사람의 삶을 좌우하는 결정이 데이터와 알고리즘으로 처리된다. 인간이 숙고하고 의심하고 다시 확인할 시간이 '비효율'로 취급되기 시작할 수도 있다.
바로 이것이 자기조정 인공지능 사회의 위험이다. AI가 인간보다 똑똑해서가 아니다. 인간과 사회의 통제보다 AI의 판단과 실행이 앞서가기 시작하기 때문이다.
원자폭탄의 역사가 떠오른다. AI와 핵무기는 다른 기술이다. 그러나 인류는 만들 수 있다는 이유로 먼저 만들고, 돌이킬 수 없는 파괴를 경험하고 나서야 통제를 고민했다. AI에서 같은 실수를 되풀이해서는 안 된다. 특히 사람을 죽이고, 해고하고, 치료하고, 처벌하고, 삶의 기회를 배분하는 영역이라면 사고가 발생한 뒤 규제해서는 너무 늦다.
우리는 한가하지 않다. 지금 필요한 것은 자기조정 인공지능으로부터 인간과 사회를 보호하는 새로운 사회보호운동이다. 어떤 AI를 어디까지 허용할 것인지, 반드시 인간이 판단해야 하는 영역은 무엇인지, 사고가 발생하면 최종적으로 누가 책임질 것인지 사회가 먼저 정해야 한다. 필요하다면 위험한 AI의 개발과 도입을 멈출 수 있는 힘도 가져야 한다.
그래서 'AI in Society Network, 사회 속 인공지능 네트워크'를 제안한다. AI의 미래를 개발기업과 국가의 경쟁에만 맡겨둘 수 없다. 시민사회가 기술의 방향을 묻고, 위험을 감시하고, 인간과 자연을 보호하기 위한 한계를 정해야 한다.
저작권자(c) 오마이뉴스(시민기자), 무단 전재 및 재배포 금지
오탈자 신고