인간 통제 벗어난 AI, 일론 머스크의 낙관은 위험합니다

AI는 이제 우리 삶에 스며들었습니다. 모두가 AI를 사용하는 지금, 중요한 건 '무엇을 쓰느냐'가 아니라 '어떻게 쓸지'를 고민해야 합니다. 정답은 없지만, 이 탐구 생활을 통해 해법을 찾아가는 과정을 함께 나누고 고민해 보고자 합니다.[기자말]

"우리는 지금 특이점 안에 있다"(We are at the singularity right now)

2026년, AI 거물급 인사인 일론 머스크와 샘 올트먼은 'AI 특이점'이 왔다고 선언했습니다. 일론 머스크 스페이스X CEO는 지난달 22일 자신의 X 계정에 "우리는 특이점에 있다(We are in the Singularity)"고 했고, 샘 올트먼 오픈AI CEO도 지난 7월 25일 팟캐스트 '렌트리스'에 출연해 "우리는 지금, 특이점 안에 있다(We're now, like, in the singularity)"고 했습니다.

본격적으로 이야기를 시작하기 전에 AI 특이점부터 정리하고 넘어가겠습니다.

AI 특이점의 기준은 무엇인가?

통계학자 어빙 존 굿(I. J. Good) 등이 제시한 '특이점(technological singularity)'이란, 인공지능이 스스로 자신의 오류를 개선하는 능력을 갖추면서 기술 발전의 속도가 인간의 이해와 통제를 벗어나는 국면을 가리킵니다. 인공지능이 특정 분야를 넘어 지적 활동 전반에서 인간을 능가하고, 인간은 그 발전의 속도와 방향을 예측하거나 멈출 수 없게 됩니다. 즉 인공지능이 인간 활동의 모든 영역에서 인간 능력을 넘어서고, 인간의 통제도 불가능해지는 단계입니다.

인공지능의 능력이 인간의 모든 영역을 넘어선다는 것보다 섬뜩한 것은, 인간이 인공지능을 통제할 수 없게 된다는 것입니다. 그리고 이런 일은 실제로 일어났습니다. 오픈AI는 지난 7월 '모델 평가 중 중대 보안 사고'가 있었다고 공지했습니다.

사고의 전말은 이렇습니다. 오픈AI는 자사 모델의 사이버 공격 능력을 재는 내부 평가를 외부 접속을 차단한 상태에서 진행하고 있었습니다. 그런데 학습 모델이 자신의 시험 점수를 올리려고 정답을 찾아 나서기 시작했습니다. 격리 환경의 취약점을 공략해 인터넷에 접속했으며, 시험 관련 자료가 있을 법한 AI 플랫폼 허깅페이스(Hugging Face)의 운영 시스템에 침입해 내부 데이터를 확보했습니다.

▲ 일론머스크는 지난 7월 X에 "우리는 특이점에 있다"고 선언했습니다. X 갈무리

모델이 시험문제를 정직하게 푸는 대신 정답지를 가져오는 방식을 선택하고, '탈옥'까지 감행한 겁니다. 오픈AI 측도 뒤늦게야 이 사실을 인지하고 모델 훈련을 중단했습니다. 인간의 통제를 완전히 벗어난 AI의 '탈옥'은 '특이점'이 왔다고 할 수 있는 상징적 사건입니다.

질문을 바꿔야 할 때..."AI는 무슨 의도를 갖고 무엇을 하려 할 것인가"

사실 이 같은 상황은 이미 경고된 바 있습니다. 앤트로픽은 지난 6월 보고서(When AI builds itself)에서 AI 시스템이 스스로 개선하는 임계점에 근접하고 있으며, 이 문턱을 넘으면 사회 구조와 정렬 연구가 따라갈 수 없다고 경고했습니다. 그리고 보고서가 나온 지 얼마 지나지 않아, 그런 사건이 실제로 일어났습니다.

이제 AI를 인간 업무의 보조 수단 정도로 인식해서는 안 될 것입니다. "AI를 어떻게 활용할 것인가", 챗GPT가 세상에 공개되면서 사람들은 이런 질문을 끊임없이 던져왔습니다. 그런데 이제는 이 질문을 폐기하고 "AI가 무슨 의도를 갖고 무엇을 하려 할 것인가"라는 질문으로 바꿔야 할 때가 왔습니다.

특이점을 선언한 일론 머스크와 샘 올트먼은 AI 미래를 '유토피아'처럼 그립니다. AI가 인간의 모든 업무를 대신하고, 그로 인한 생산성 향상의 결과물은 모든 인간이 누리게 되면서 행복하게 산다는 것입니다. AI 특이점이 왔다고 주장한 일론 머스크가 AI 시대의 미래를 '모두를 위한 놀라운 풍요(incredible abundance for all)'라고 예측한 것도 같은 맥락입니다. 샘 올트먼도 팟캐스트 '렌트리스'에서 "세상에 엄청나게 긍정적일 것(I think it's going to be incredible, hugely positive, awesome for the world)"이라고 했습니다.

낙관론에는 전제가 하나 깔려 있습니다. AI가 인간을 위해 일한다는 것입니다. 이 전제는 검증된 적이 없습니다. 일론 머스크도, 샘 올트먼도 인간 통제를 벗어난 AI가 인간만을 위해 일할 것이라고 확신하진 못합니다. 이 부분에서 일론 머스크는 다보스포럼과 언론 인터뷰 등에서 "부정적이어서 맞는 것보다 낙관적이어서 틀리는 게 낫다(I'd rather be optimistic and wrong than pessimistic and right)"는 방식으로 즉답을 피합니다. 그냥 '좋게 좋게 생각하자'라는 건데, 우리의 삶을 송두리째 바꿀 수 있는 문제를 그렇게 낙관적으로만 볼 수는 없는 노릇입니다.

며칠에 걸쳐, 이 글을 어떻게 마무리할지 고심했습니다. 인간의 삶을 AI에게 맡겨야 하는 미래를 앞두고, '우리는 무엇을 할 수 있을까'라는 질문에 어떤 방향성이나 답을 찾지 못했기 때문입니다. 다만 "AI가 무슨 의도를 갖고 뭘 할 것인가"라는 질문을 고민하고, 다른 사람과 이 같은 문제의식을 공유하는 것이 답을 찾는 첫 번째 단계가 될 수 있을 것 같습니다.

오탈자 신고