누구를 위한 '국방인공지능기본법'인가

지난 1월 27일 부승찬 더불어민주당 의원과 유용원 국민의힘 의원이 '국방인공지능기본법'을 대표 발의했다. 여야 대치 국면 상황에서도 33명의 여야 의원이 공동 발의자로 참여했다. 이 법안은 국방인공지능을 "국가 차원의 전략으로 정립"하고, 국방력 강화와 국가 안보를 위해 국방AI를 적극 도입·활용하고, 전문 인력 양성과 산업 생태계를 육성하는 데에 초점을 맞추고 있다. '인공지능기본법'과 마찬가지로 해당 법안 역시 기술 발전의 긍정적 측면만을 부각하며, 산업 육성을 촉진하는 데 목적이 있다. 반면, '고위험AI'로 분류되는 국방인공지능에 대한 규제와 통제를 인공지능 개발과 도입의 걸림돌 정도로 치부하고 있어 매우 우려스럽다.

무엇보다 이 법안은 이미 전장 현실에서 드러난 국방 분야에서의 인공지능 활용에 대한 우려와 법적·윤리적 문제에 대해 전혀 고려하고 있지 않은 점이 큰 문제다. 국방인공지능은 오류가 발생할 경우 치명적인 결과를 초래하기 때문에 기본법 제정 시 국방인공지능 체계 운용에 대한 기본 원칙을 수립하고, 금지·제한되는 인공지능에 대한 정의, 위험한 인공지능에 대한 규제와 통제 방안, 국가와 기업의 책임 등에 대한 내용이 반드시 포함되어야 한다. 그러나 해당 법안은 "국방인공지능기술을 개발하고 활용하여 국가 안보 및 국방력 강화를 최우선"을 기본방향으로 설정하고 있을 뿐 운용에 대한 기본 원칙 자체가 수립되어 있지 않다.

자율살상무기 등 금지된 인공지능에 대한 정의는 부재

뿐만 아니라, 국방 분야 인공지능 활용에 있어 금지하거나 제한해야 하는 인공지능에 대한 정의가 규정되지 않았다. 특히, 인간의 통제없이 생사를 결정하는 자율살상무기(LAWs)는 국제인도법의 근간을 흔드는 것으로 연구 및 개발, 운용 등은 반드시 금지해야 한다.

2023년부터 이어진 이스라엘의 팔레스타인 집단학살 전장에서 실전 사용되며, 논란이 되었던 'AI 표적 선정 시스템' 역시 허용해서는 안 된다. AI가 개인의 행동 패턴을 분석해 '위험 점수'를 매겨 자동으로 표적으로 분류하는 이 시스템은 민간인과 전투원을 구분하는 데 있어 매우 심각한 오류가 있다는 사실이 이미 확인되었으며, 그 결과는 참혹한 민간인 피해였다. 더 충격적인 사실은 표적 식별에서 승인까지의 결정이 단 20초에 불과했다는 것이다. 우리 사회가 국방인공지능을 어디까지 허용하고 금지·제한해야 할지에 대한 기준을 설정하여 법으로 명시해야 한다.

'인적 개입' 확보는 어떻게?

이 법안 제3조(기본방향) 제3항은 "자동화된 결정이 사람의 생명 또는 신체에 중대한 위해를 발생하게 할 우려가 있는 경우에는 인적 개입이 보장되도록 하여야 한다"고 명시하고 있다. 그러나 인적 개입을 어떻게 확보할 것인지, 최종 결정은 인간이 내린다 하더라도 AI기반 의사결정체계가 갖는 알고리즘 편향성, 의사결정과정의 불투명성(블랙박스 문제), 결과에 대한 책임 소재 불분명 등 한계와 문제는 어떻게 해결할지에 대한 대책은 없어 실질적으로 작동 가능한지 우려스럽다.

더구나 국방인공지능 관련 주요 정책 및 제도 개선 등을 심의·의결하는 기구인 국방인공지능위원회의 구성은 군, 방산 관계자로만 치우쳐 있다. 국방분야 인공지능의 파급력과 위험성을 고려할 때 위원회의 구성은 다양한 관점과 검토가 반영될 수 있도록 거버넌스를 갖추는 것이 중요하다. 군, 방산 관계자로만 위원회가 구성되면 사업의 추진력에만 초점을 맞출 수밖에 없다. 위원회 구성은 국제법, 인권 및 인도법, 평화학 등 다양한 분야의 전문가와 시민사회 참여를 보장하여 다양한 의견을 수렴할 수 있도록 해야 한다.

공청회 통해 제기된 우려와 쟁점 토론하고 숙의해야

국회는 국방인공지능기본법 입법 공청회를 조속히 개최하여 제기된 여러 우려와 쟁점에 대해 충분히 토론, 숙의하는 절차를 거쳐 법안을 반드시 수정, 보완해야 한다. 공청회에는 국제법, 인권법, 평화학 전문가와 시민사회 등 다양한 이해관계자들의 참여를 보장하고, 기본원칙을 비롯해 광범위한 윤리적·법적 쟁점 등을 충분히 검증하고 토론하여 사회적 합의를 만들어 가야 한다. 정부와 국회는 또 '선 진흥 후 규제'를 말할 것인가. '먼저 입법하고 나중에 개정하자'는 식은 더 이상 안 된다.

참여연대와 성공회대 평화월딩연구소는 군사 AI 쟁점 토크 시리즈 War, Peace + AI를 진행한다. 군사용 AI 규제에 대해 국제적, 국내적으로 합의된 가이드라인이 부재한 상황에서 '인간의 생명과 안전을 좌우하는 복잡한 윤리적 판단과 무력 사용을 AI와 로봇에 맡길 것인지'에 대해 진지하게 논의를 이어갈 예정이다.

오는 2월 25일(수) 오후 7시, 첫 번째 토크 '인공지능과 전쟁의 미래'가 진행된다.