기사 쓰랬더니 소설 쓰는 AI, 여기 해법이 있었습니다

AI는 이제 우리 삶에 스며들었습니다. 모두가 AI를 사용하는 지금, 중요한 건 '무엇을 쓰느냐'가 아니라 '어떻게 쓸지'를 고민해야 합니다. 정답은 없지만, 이 탐구 생활을 통해 해법을 찾아가는 과정을 함께 나누고 함께 고민해보고자 합니다.[기자말]

저는 기사를 쓸 때, 절대 AI를 활용하지 않습니다. 요즘 리포트나 자기소개서 등 웬만한 '글쓰기'는 AI에 맡기는데, 시대에 너무 뒤떨어진 생각 아니냐고요? 한편으론 맞는 얘기입니다. GEMINI나 챗GPT 등에 접속해, "해줘" 한마디면 3~4초만에 웬만한 작가들보다 수준이 높은 글이 쏟아지는데, 이걸 활용하지 않는다니요. 비견하자면, 모두가 차를 타고 출근할 때, 저 혼자 신발 신고 뛰는 것과 마찬가지일 수 있겠습니다.

하지만 기사를 쓸 때, AI를 몇 번 돌려보고 아예 안 쓰기로 결론을 내린 이유가 있습니다. AI가 없는 사실을 만들어내는 '할루시네이션'(Hallucination, 환각 오류) 현상을 완전히 막을 수 없기 때문입니다. 할루시네이션만 걷어내면 될 거 아니냐, 하시는 분도 있을 텐데요. 사실 그 할루시네이션 여부를 점검하느라 시간이 더 많이 걸립니다. 사실이 명백히 다른 문장은 금방 파악이 가능하겠지요. 하지만 AI는 사실 관계를 교묘하게 오도하는 문장을 만들거나, 거짓 출처를 명기하고 거짓 사실을 만들어내는 등 다양한 형태의 '환각'을 사용자에게 제공하더군요.

결국 AI가 3~4초 만에 만들어낸 그럴듯한 기사라고 하더라도, 제가 문장을 하나하나 검수해야 '사고'가 발생하지 않습니다. 저의 경우는, 그 검수에 걸리는 시간과 노력, 집중력을 소모하느니, 그냥 기사를 쓰는 것이 가성비 측면에서 훨씬 나았기 때문에, 오늘도 실뜨기하듯 느릿느릿 기사를 써내고 있습니다.

사실 그동안 AI는 이같은 '할루시네이션'으로 대형사고를 여러 번 저질렀습니다. 지난 2023년 미국 조지워싱턴대 조너선 털리 교수는 챗GPT가 만들어낸 할루시네이션에 의해 졸지에 '성범죄자'로 내몰렸습니다. 당시 챗GPT는 <워싱턴포스트> 보도 기사를 출처로, 조너선 교수가 알래스카 현장 학습에서 여학생을 성희롱했다고 주장했고, 이 내용이 삽시간에 퍼졌기 때문입니다. 성희롱 사실도, <워싱턴포스트> 보도도 모두 '거짓'이었습니다.

미국 시카고 <선타임스>는 지난해 5월 AI의 '할루시네이션'에 속아, 대형 오보를 냈습니다. 이 신문은 당시 여름 특집 추천 도서 목록을 제시했는데, 추천도서 15권 중 10권은 존재하지 않는 가짜 책으로 드러났습니다. 결국 신문사 명의로 사과 성명을 발표하기도 했습니다. AI를 활용하던 디렉터가 기사를 내기 전 검증을 하지 않았던 탓이었죠.

없는 사실 만들어내는 AI '할루시네이션', 왜 생겼을까

▲ "할루시네이션 그만"을 수차례 외쳐도 AI는 없는 링크까지 만들어내며 할루시네이션을 합니다. 신상호

AI의 '할루시네이션'을 막기 위해 다양한 설정, 예를 들어 프롬프트와 기본 설정에서 '할루시네이션 금지' 등을 강조하더라도 완전히 막을 수는 없습니다. 할루시네이션을 막기 위해 출처가 있으면 그 웹사이트 링크까지 포함하라고 했는데, 웹사이트 링크까지도 가상으로 만들어버리기더군요.

'할루시네이션'은 왜 발생할까. 이유를 알면 해결책도 보이겠죠.

오픈AI연구팀(Adam Tauman Kalai 등)이 지난해 발표한 논문(Why Language Models Hallucinate)을 보면, 사용자 입장에서 해결책을 찾을 수 있을 듯 합니다.

논문을 쉽게 풀어보면 이렇습니다. AI는 데이터 학습 및 개발 과정에서 시험을 치게 됩니다. 시험을 칠 때, 정답이면 1점, '오답'이나 '모른다'고 답하면 0점을 부여합니다. 그런데 AI 입장에선 성적을 잘 받으려면, '모른다'고 답하는 것은 기대점수를 낮추는 일입니다. 차라리 모르는 것이라도 아무거나 찍어서 맞히면 1점을 받을 확률이 있기 때문에, '오답' 혹은 '할루시네이션'을 만들어냅니다. 찍어서 틀리더라도 0점을 받는 것은 똑같기 때문에 AI 입장에선 '찍는' 게 나은 선택입니다. 우리가 시험장에서 못푼 문제들을 연필로 찍는 것과 같은 이치입니다.

여기에서 사용자 입장에서 AI의 할루시네이션을 방지하는 방법을 찾을 수 있습니다. 즉 AI에 질문을 할 때, 점수를 매기는 프롬프트를 추가하는 것입니다. 논문은 "90% 이상 확신을 가질 만할 때만 답변하라, 틀리면 답변을 하지 못하는 것보다 더 큰 감점을 받는다" 등의 프롬프트를 제시하거나 시스템 설정에 추가하는 방식이지요. 더 구체적으로 정답은 1점, 오답은 -9점, 기권은 0점, 이렇게 점수표를 구분하는 것도 할루시네이션을 줄일 방법이라고 합니다.

모르는 문제에, "거짓말"을 하는 사람보단 "모른다"고 인정하는 사람이 신뢰를 받을 수 있는 것처럼 AI에게도 모른다고 순순히 인정하는 게 낫다는 걸 주지시켜야 할 필요가 있습니다. 물론 이렇게 하더라도, 할루시네이션을 100% 예방할 수 있다고 장담하진 못합니다.

AI를 통한 글쓰기는 그래서 조심, 또 조심해야 합니다.

오탈자 신고