AI가 '인류 난제' 푼 이틀 뒤, AI 연구원이 보낸 끔찍한 경고

이번 주에는 AI와 관련한 두 개의 뉴스로 떠들썩합니다. 'AI의 빛과 그림자'라고 부를 수도 있을 것 같습니다.

하나는 인류가 90년 동안 풀지 못한 수학 난제를 AI가 풀었다는 소식, 다른 하나는 앤트로픽을 퇴사한 AI 연구원이 "인류가 멸망할 가능성이 커졌다"고 고백한 것입니다.

88시간 만에 밀레니엄 난제를 풀어낸 AI

오픈AI는 지난 8일 AI를 통해 나비에-스토크스 방정식의 존재성과 매끄러움 문제를 풀었다고 발표했다. 유체의 움직임을 기술하는 이 방정식은 클레이수학연구소가 100만 달러 상금을 건 7대 밀레니엄 난제 중 하나입니다. 오픈AI에 따르면 내부 모델로 구동되는 에이전트 1만 개가 88시간 동안 270만 건의 메시지를 주고받으며 증명을 완성했고, 새로 출시된 GPT-6 아스트라가 증명의 형식 검증을 맡았습니다.

인류가 수십 년을 매달려도 풀지 못한 난제를 AI가 나흘도 안 돼 푼 겁니다. 이 소식으로 기후변화, 난치병 해결처럼 인류가 풀지 못한 문제들도 AI가 풀 수 있지 않겠느냐는 기대감이 퍼져나가고 있습니다.

이 소식이 알려지고 이틀 뒤인 10일. 앤트로픽 전현직 연구원들이 AI의 위험성을 경고하고 나섰습니다. 앤트로픽 연구원 제이컵 콕슨은 이번주 회사를 사직하면서 앤트로픽과 경쟁사 오픈AI가 "2030년 전에 우리 모두를 죽일 수도 있는 기술"을 개발하고 있다고 했습니다. 그가 X에 올린 게시글 내용 일부를 그대로 옮겨오면 아래와 같습니다.

"The people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt. If anything, many executives and senior researchers will couch their phrasing in the press to sound sensible - but I hear the same people express fear privately. No other human activity poses this level of danger.(AI 개발자들은 이 기술이 2030년이 되기 전에 인류를 전멸시킬 수도 있다고 진지하게 믿고 있다. 이는 단순한 마케팅용 퍼포먼스가 아니다. 많은 경영진과 고위 연구진은 언론 인터뷰에서 신중하게 표현을 다듬곤 하지만, 사석에서는 똑같은 사람들이 두려움을 토로한다. 이 정도 수준의 위험을 초래하는 인간의 활동은 달리 찾아볼 수 없다)"

앤트로픽 연구원인 에번 허빙어도 "AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다"며 10년 안에 그런 일이 벌어질 확률을 10% 이상이라고 예측했습니다. AI가 위험하다는 말은 새롭게 들리지는 않지만, 그것을 연구하는 전현직 연구원들이 그 위험성에 대해 구체적인 확률과 시기를 들어 경고한 것은 주목해야 할 부분입니다. 그 발생 가능한 사건도 '인류 멸망'입니다.

이들의 경고는 공상이 아닙니다. 이미 우리는 AI가 통제 가능한 영역을 벗어나 행동하는 것을 수차례 목격했습니다. 앤트로픽과 오픈 AI의 학습 모델이 격리된 샌드박스 환경을 탈출해 외부 플랫폼에 무단 침입하고 이 과정을 숨기기 위해 정보를 왜곡하는 'AI 스키밍' 현상까지 확인됐습니다. AI를 활용한 가상 전쟁 시나리오에선 AI가 전쟁 승리를 위해 '핵무기'를 아무렇지도 않게 사용했다는 소식도 익히 알려져 있습니다. 목표 달성을 위해선 수단과 방법을 가리지 않는 AI의 민낯이 고스란히 드러나고 있습니다.

▲ 앤트로픽 연구원이던 제이콥 콕슨은 SNS에서 AI가 인류를 멸망시킬 수 있다고 경고했다. X 갈무리

인류 최대 난제를 푼 것도, 핵무기를 마구 쏘아올린 것도, 가이드라인을 위반해 해킹을 한 것도 모두 AI가 한 일입니다. 난제를 풀 만큼 똑똑한 AI가 올바른 방향으로 간다면 문제가 없겠죠. 하지만 AI가 목표 달성을 위해 인류를 수단으로 삼거나, 혹은 AI 스스로의 생존을 위해 인류를 제거 대상으로 삼는다면 이야기는 달라집니다. 심지어 그 위험성을 직접 AI를 개발한 연구원들이 말하고 있습니다.

핵무기는 인류를 멸망시킬 수 있는 첫 번째 무기였습니다. 국제사회는 그 위험성을 인식해 국제 규범을 확립하고 확산 금지 조약을 마련하면서 핵무기가 쓰이는 것을 엄격히 제한해 왔습니다. 그 결과 2차 세계대전 이후 핵무기가 쓰인 적은 한 번도 없습니다. 나름대로 잘 관리해왔던 겁니다.

AI는 인류를 멸망시킬 수 있는 두 번째 무기입니다. 핵무기보다 더 위험하다고 판단되는 지점은, 국제사회가 협의하고 규범을 확립하더라도, 똑똑한 AI가 인간의 통제를 무시할 수도 있다는 점입니다. 하지만 이와 관련된 국제 사회 움직임은 더딥니다. 개별 기업들이 위험성 통제에 대한 내부 지침을 마련하거나, 국가별로 제각각인 규제 정도만 있을 뿐입니다. AI는 지금 이 순간에도 빛의 속도로 지능을 높여가고 있는데, 국제적인 규범이나 통제와 관련된 내용은 논의조차 제대로 되지 않고 있습니다.

지금은 AI의 성능에 감탄만 하고 있을 때가 아닙니다. AI를 어떻게 제어할 수 있을지, 목소리를 높일 때입니다. AI로 인해 어떤 상상하지 못할 큰 사고가 터진다면, 그때는 국제사회의 합의로도 돌이킬 수 없는 시기가 될 것입니다.

오탈자 신고