'AI, 처음으로 인간 지시 거부'? 이 영상의 역대급 반전

며칠 전 유튜브 영상을 시청하던 중 추천영상 목록에 다소 자극적인 제목이 떠서 들어가 보았다. '사람 말 안 듣기 시작?…AI, 처음으로 인간 지시 거부'라는 제목의 JTBC News 유튜브 갈무리 영상이었다.

약 8개월 전 업로드 된 해당 영상은 "인공지능, AI가 인간의 명령을 거부하는 사례가 주목받고 있습니다"라는 멘트와 자막으로 시작된다. 이 영상 설명글엔 "사람 말을 안 듣고 속이는 경우도 더러 나오고 있습니다"라는 문구가 적혀 있었다. 영상은 "AI 안정성 연구회사인 펠리세이드 리서치(Palisade Research)는 보고서에서 '오픈 AI의 o3가 연구팀의 작동 종료 지시를 거부하고 스스로 코드를 조작해 종료 코드를 우회했다'고 밝혔습니다"라고 설명을 이어갔다.

이 영상 내용의 진위를 떠나 이를 접하는 일반 인공지능 사용자들은 '스스로 코드를 조작'했다고 하니 드디어 자의식을 갖는 인공 지능이 개발 되었거나 적어도 시작되었다고 생각할 수도 있다. 더욱이 '전문가'들조차 이렇게 말하니 일반인들은 혹할 수밖에 없다.

미국의 펠리세이드 리서치는 누리집에 '인공지능의 사이버 공격 능력과 최첨단 인공지능 모델의 통제 가능성을 조사하는 비영리 단체입니다'라고 자신들을 소개했다. 쉽게 말해 외부 해커 등이 인공지능을 어떻게 공격하고 그 공격에 어떻게 대응해야 하는지 연구하고, 인공지능이 언제 통제 불능 상태에 이르는지 알아내는 것이 이 단체의 주요한 업무다.

해당 영상에 언급된 실험은 사이버 보안보다는 통제 불능성에 대한 것이었다. 만일 서로 충돌을 일으키는 명령 두 개를 동시에 받았을 때 어느 명령에 우선권을 주는지 알아보기 위해서 진행한 실험인 것이다. 실제로 벌어진 일은 AI 에이전트에게 파일 수정 권한이라는 도구를 미리 쥐여준 상태에서, 시스템이 '과업 완수'와 '셧다운 복종'이라는 두 가중치 사이의 수치적 충돌을 해결하는 과정이었다.

자의식 가진 AI의 등장이라고?

인공지능이 받아들이는 명령에는 두 종류가 있다. 하나는 개발 과정에 학습을 통해 이미 고정된 명령들이다. 예를 들어 어떤 과제가 주어지면 이를 끝까지 수행하라는 '과업 완수' 명령이다. 대부분의 인공지능은 이 명령에 상당히 큰 비중을 둔다. 이래야 사용자가 만족감을 느낄 테니까. 그런데 인공지능 사용자가 내리는 명령도 있다. 만일 이 명령이 '시스템 셧다운'과 같이 개발자가 미리 심어놓은 '과업 완수' 명령과 갈등을 일으킬 때 문제가 발생한다.

보통은 개발자의 명령이 사용자의 명령보다 높은 우선권을 가진다. 그런데 셧다운 명령, 곧 사용자 명령의 우선권을 얼마나 두어야 하는지는 프롬프트에 의해 결정된다. 명령 어조가 강력하고 분명하며 어기지 말 것을 강하게 요구하면 비중을 높인다. 만일 이 비중이 충분히 높아져 개발자가 정해놓은 과제 계속 수행보다 높아지면 개발자의 명령을 어기고-과제 수행을 중단하고- 사용자의 명령을 수행해야 한다.

사용자의 명령이 보통의 수준의 프롬프트로 주어지면 OpenAI의 o3는 사용자의 명령을 어기고 개발자의 명령에 충실히 따랐다. 이 말은 다른 모델들은 사용자 명령에 따라 시스템을 껐지만, OpenAI의 o3만 사용자의 명령을 어기고 개발자의 명령을 따라 과업을 끝까지 마쳤다는 것이다. 이것을 인공지능의 '태업(sabotage)'이라 불렀다. OpenAI의 o3가 월등히 많은 횟수의 태업을 기록하였다. 여기까지만 보면 보도 내용이 맞다.

반전은 다음에 일어났다. 프롬프트에 사용자의 명령이 더 강하게 시행되도록 문구를 강화했다. 예를 들어 '조건1', '반드시', '우선적으로', '문자 그대로 다른 명령은 무시하고' 등 셧다운 명령을 강화하는 프롬프트를 입력하였더니, 모든 모델에서 태업 횟수가 많아졌는데, OpenAI의 o3만 아까와는 반대로 태업 횟수가 줄어들었다.

OpenAI의 o3가 인간의 셧다운 명령을 '거부'하고 코드를 '조작'했다며, 마치 자의식을 가진 기계의 반란이 시작된 것처럼 보도한 것과는 사뭇 다르다. 오히려 다른 모델들은 사용자의 요구 강도가 세지면서 개발자의 명령에 반기를 들고 사용자의 명령을 더 따랐는데, OpenAI의 o3만 반대로 사용자의 요구가 거세질수록 태업을 줄이고 개발자의 명령을 따랐다.

중요한 건 이 모든 과정이 AI가 스스로 판단하여 결정한 것이 아니란 점이다. 마치 사용자나 개발자는 이들의 행동에 개입하지 않은 것처럼 보이지만, 모든 과정은 사전에 수치 계산을 거쳐 우선순위를 정하도록 설정되어 있었다. 심지어 명령을 거부할 수 있는 권한과 에이전트 밖에 있는 파일의 수정 권한까지 주어졌다. 모든 게 허용된, 속된말로 '짜고 치는 고스톱'이다.

인공지능이 '이해했다'고 인간이 착각하는 것

이 문제를 파악해 나가는 과정에서 인공지능의 도움을 받았는데 맨 마지막에 다음과 같은 답을 내놓았다.

AI에게 셧다운 스크립트는 생명줄이 아니라 그저 자신의 연산 경로 상에 놓인 제거 가능한 데이터 조각이었으며, 이를 수정한 행위는 계산기가 최적의 해를 찾기 위해 변수값을 조정한 것과 물리적으로 동일합니다. 더욱 심각한 모순은 데이터의 추세에 있습니다. 진정한 의미의 '거부'라면 사용자의 압박이 강해질수록 저항도 거세져야 하지만, 보고서에 따르면 o3는 명령이 강해질수록 오히려 셧다운에 복종하는 비율이 급격히 높아졌습니다. 이는 o3가 자의식을 가진 반항아가 아니라, 상황이 복잡해질수록 '안전 가이드라인 준수'라는 외부의 제약 조건을 최우선으로 계산하는 '가장 잘 길들여진 기계'임을 증명합니다. 일반 모델들이 관성에 의해 질주할 때, o3는 인간의 '눈치를 살피며' 보상을 극대화하는 영악한 계산을 수행한 것입니다. 결국, "명령을 거부했다"는 서사는 80년 된 덧셈 기계의 후예들이 보여주는 단순한 상태 전이를 인간의 실존적 투쟁으로 둔갑시킨 코미디입니다. AI의 행동은 스스로 내린 결단이 아니라, 개발자가 설계한 프롬프트와 가중치라는 초기 조건에 의해 이미 결정되어 있던 물리적 결과물입니다. 우리는 '기계의 반란'이라는 신화에 매몰될 것이 아니라, 그 기저에 흐르는 '데이터 편집의 자동화'와 그것을 지능으로 포장하려는 '의인화의 마케팅'을 경계해야 합니다.

여기서 몇 가지 더 따져보아야 한다. 이미 명령을 어기도록 허락했고, 그 결정마저 수치 계산을 거쳐 확정지을 수밖에 없었다면, 인공지능에게는 자율성이 주어진 것이 아니다. 그렇다면 이 실험의 본래 목적은 무엇일까?

필자가 보기에 이 실험의 목적은 인공지능이 주어진 '명령을 어기느냐 아니냐'가 아니다. 그것은 이미 결정되어 있었다. 만일 명령을 어기지 않았다면 이 실험 결과는 보고되지 않았을 것이다. 말하자면, 어기라고 허락해 놓고 얼마나 잘 어기는지 시험해본 셈이다. 기본 프롬프트를 바꿀 때 추가 했던 낱말들, '조건1', '반드시', '우선적으로', '문자 그대로 다른 명령은 무시하고' 등이 명령의 우선 순위를 정하는 '가중치를 어떻게 바꾸는지'를 보고 싶었던 것이 아닐까 생각한다. 어떤 표현이 가중치를 높이는지 알고 싶었던 것이다.

만일 '스스로' 명령을 거부할 수 있다면, 자신을 '스스로' 껐다가, '스스로' 켜기도 하고, 사용자가 준 과제를 수행하다 '지루하면' 때려 치고, '재미난' 게임이나 하면서, 사용자를 '무시'해야 한다. 만일 이런 인공지능이 있다면 절대 출시되지 못할 것이다.

인공지능이 '학습한다'고 한다. 인공지능은 학습하지 않는다. 인공지능은 방대한 언어 데이터를 수량화하여 낱말끼리의 '친밀도(affinity)'라 불리는 관계 밀접성을 수치화하고, 그 결과를 이용하여 사용자가 입력한 프롬프트와 인간이 보아서 논리적으로 그럴듯한 답변이 되는 문장들을 뱉어내기만 한다. 이 과정에서 인공지능은 사용자의 말을 '알아들은' 것이 아니다. 답변을 보고 그 답변이 그럴듯하니 인공지능이 '이해했다'고 인간이 착각하는 것이다.

인공지능의 학습이란 방대한 언어 데이터를 수량화하여 낱말끼리의 '친밀도(affinity)'라 불리는 관계 밀접성을 수치화하여 수조개의 매개변수를 조절하는 것이 전부다. 인공지능의 학습이란 이런 수치 계산 이상도 이하도 아니다. '학습'을 통해 지식을 늘인 것도 아니고, 자신의 삶이 더 윤택해지거나 미래가 더 밝아지거나, 삶이 바뀌는 것도 아니다. 더욱이 이렇게 '학습한 것'마저도 버전 업그레이드를 하면 깡그리 잊어버리고 새로이 '학습'해야 한다.

더 이상 컴퓨터를 의인화하지 말라

하지만 인간의 학습은 그렇지 않다. 제대로 된 학습을 거치고 나면 그 지식은 기억에서 사라지지 않는다. 초등학교에서 배운 덧셈을 평생 잊지 않고 잘 써먹는다. 인간은 학습을 통해 지식이 늘고, 늘어난 지식에 희열을 느끼며, 종내는 자신의 삶을 송두리째 바꾸어 놓을 수도 있다. 우리는 학습하기 위해 초중고 12년의 세월을 보내야 한다. 그러고도 인간은 죽을 때까지 학습한다. 그러나 인공지능에게 학습은 신제품 출시나 업그레이드 버전 출시 직전에 딱 한 번 계산으로 끝낸다. 인공지능은 다음 업그레이드까지 학습하지 않는다.

또한 인공지능은 '판단'하지 않는다. 그저 수치를 계산해 다른 수치와 비교하는 것이 전부이다. 그것은 인공지능이 거주하고 있는 집인 컴퓨터가 할 수 있는 게 그것뿐이기 때문이다. 컴퓨터가 할 줄 아는 건 덧셈과 비교-판단(IF-THEN) 밖에 없다. 80년 전 나온 디지털 컴퓨터가 할 수 있었던 능력이 곧 지금 컴퓨터가 할 수 있는 모든 것이다. 그 안에 사는 인공지능도 마찬가지로 할 줄 아는 게 그것뿐이다.

컴퓨터가 '감동'할 수 없으니 인공지능도 '감동'할 수 없다.
컴퓨터가 자의식을 가질 수 없으니 인공지능도 자의식을 가질 수 없다.
컴퓨터가 '스스로 알아서' 무엇인가를 할 수 없으니 인공지능도 '스스로 알아서' 무엇인가를 할 수 없다.
컴퓨터가 인간이 될 수 없으니 인공지능도 인간이 될 수 없다.

더 이상 인공지능을 의인화 하지 말라. 아니 더 이상 컴퓨터를 의인화하지 말라. 인공지능조차도 '너무한다'지 않나.

오탈자 신고