[이재희 칼럼] 'AI 환각'의 두 얼굴

[이재희 국제언어대학원대학교 총장]

  
 

일상생활에서 스마트폰이나 컴퓨터를 사용하여 일반상식부터 의료, 법률, 학술 정보 등 AI가 제공하는 다양한 정보를 쉽게 이용할 수 있다. 그런데 AI가 만들어낸 정보에는 참 정보와 거짓 정보가 있다. 대부분 기존 지식의 한계를 넘어선 새로운 아이디어를 창출하여 창의적 기회를 주는 참 정보를 제공하지만 실제로 존재하지 않거나 사실과 다른 거짓 정보를 생성해 내서 AI 환각(hallucination)을 일으키기도 한다.

AI 환각은 양면성이 있어서 대부분 부정적 작용을 하지만 인간 지식의 한계를 넘어서는 창의적 발상의 원천이 되는 경우도 있다. 2024년 노벨 화학상 수상자인 데이비드 베커 교수는 AI가 만들어낸 거짓 답변, 즉 환각을 활용하여 ‘자연에 존재하지 않는’ 새로운 단백질을 설계했다고 고백했다. 그는 이 기술로 많은 특허를 획득하고 생명공학 회사도 설립했다. 그러나 AI 환각은 대부분 피해와 신뢰 붕괴를 초래하는데, 국내에서 발생한 AI 환각의 위험 사례는 지난해 국회 행정안전위원회 국정감사에서 경찰이 작성한 것으로 공개된 아동복지법 위반 사건의 불송치 결정문을 들 수 있다. 이 문서에 인용된 “일시적이거나 단편적인 언행만으로는 아동의 정신 건강 및 발달에 해를 끼친다고 단정하기 어렵다”는 법리는 대법원 판결문 어디에도 존재하지 않는 허구였다. 외국에서 발생한 AI 환각 위험 사례는 영국 국영의료서비스시스템(NHS)의 오류를 들 수 있다. 당뇨병 진단을 받은 적이 없는 환자에게 당뇨병 환자 대상 정기 안과 검진 초대장이 발송된 데다, 더욱 심각한 것은 그 환자의 의료 기록에 실제 증상은 누락되고 그에게 존재하지 않는 병력과 허위 정보가 포함된 것이다.

AI 환각은 AI 모델이 학습한 데이터와 작동 방식 및 추론 과정의 한계로 인해 발생한다. AI가 내놓는 답변의 오류 비율은 일반상식에 비해 전문 영역에서 현저하게 높다. 글로벌 AI싱크탱크 ‘올어바웃AI’가 조사한 결과 의료 분야는 15.6%, 법률 분야는 18.7%에 달했다. 하지만 AI가 만들어낸 거짓 답변, 즉 환각을 스스로 환각으로 정확히 식별하는 비율은 64%에 불과하고, 분야별로 AI 환각 식별 비율은 일반상식 85%, 법률 64%, 의학 58%라고 한다. 전문 영역에서 AI 답변 오류 비율은 높으면서 AI 스스로 오류를 식별하기는 어렵다는 것이다. 또한 AI 환각이 초래하는 위험이 앞에서 예시한 법정이나 병원 사례처럼 개인이나 소수에 영향을 미치는 경우보다 연구와 행정 분야 등 다수에게 영향을 미치는 경우가 더 큰 문제다.

첫째, AI 환각으로 인해 연구 논문의 신뢰성이 위협받고 있다. 과거에는 연구자가 정보를 얻는 데 많은 인력과 자원을 투입했지만 생성형 AI 사용이 일상화되면서 AI가 그 과정을 상당 부분 해결하고 있다. 하지만 AI 환각으로 인해 연구의 신뢰가 붕괴되면서 AI가 생성한 정보와 연구 결과를 검증하는 데 더 많은 시간과 노력을 투입해야 할 형편이다. 최근 급증하는 허위 논문에는 두 부류가 있다. 하나는 연구 실적을 위해 찍어낸 ‘공장형’ 가짜 논문이고, 다른 하나는 연구 과정에서 AI가 내뱉은 허위 정보를 걸러내지 못하고 논문에 반영한 경우이다. 이와 같은 허위 논문뿐만 아니라 AI를 부정하게 사용했거나 AI 활용을 밝히지 않아 철회되는 논문이 급격하게 증가하고 있다고 한다. 철회 논문 추적 사이트 ‘리트랙션 워치’에 따르면 생성형 AI가 등장한 이후 2023년부터 매년 1만건의 허위 논문이 철회되고 있다고 한다.

둘째, AI 정보를 맹신하여 잘못된 정보로 인한 막무가내 민원의 폐해도 문제다. AI 환각에 의한 민원으로 행정력 낭비뿐만 아니라 민원 피해자 사망 사건까지 발생하고 있다. 2026년 6월 초 서울의 한 소방서에 상가 복도 적치 물건에 대한 민원이 접수되었다. 담당 소방관이 법규를 검토한 결과 “단속 예외에 해당한다”고 안내하자 민원인은 “인공지능에 물어봤는데 처벌 대상이 맞다고 했다”며 따졌다. 민원인이 주장의 근거로 삼은 AI 정보는 소방법 개정 전 법령을 바탕으로 작성된 환각 답변이었는데, 이 소방관은 야근까지 해가며 관련 규정을 일일이 찾아 민원인에게 증명하는 행정력 낭비를 겪어야 했다. 올해 초 경남의 한 기초자치단체에서는 AI가 ‘가로등’과 ‘보안등’의 설치 조건과 법적 기준을 구분하지 못해 내놓은 오답을 맹신한 민원인이 국민신문고에 재차 민원을 제기한 사건도 있었다. 또한 금융권에서는 민원서에 인용된 유사 판례와 분쟁조정 사례가 실제 존재하지 않는 거짓 정보로 민원 몸살을 앓기도 한다. 이와 같은 AI 환각은 자신의 생각과 일치하는 정보들만 보고 자신의 생각을 합리화하는 확증편향(confirmation bias)에 의해 강화된다. AI가 제공한 정보가 허위 정보라는 점을 설명해도 민원인이 AI 정보를 더 신뢰하는 경우에 악성 민원으로 발전한다.

연구의 신뢰 붕괴와 행정력 낭비를 초래하는 AI 환각을 예방하여 AI 시스템의 부작용을 방지하기 위한 개선 방안이 조속히 마련되어야 한다. 첫째, 연구에 AI를 적용할 때 걸림돌인 논문에 대한 불신을 해소해야 한다. 논문 작성에 AI를 활용했을 때 공개할 활용 범위 등에 관한 국제 공통 기준을 작성해야 한다. AI가 생성한 허위 정보나 조작된 논문을 걸러내기 위한 기술적 조치와 함께 연구자 스스로 연구의 맥락과 가치를 서술하는 자세가 필요하다. 둘째, AI 환각을 이용한 막무가내 민원에 대응할 명확한 실무 매뉴얼을 마련하고, 악성 민원 제기자에게 행정 낭비에 대한 배상을 청구해야 한다. 새로 출범한 지방정부의 지자체장은 심기일전하여 AI 환각으로부터 직원을 보호하기 위한 제도를 적극 활용하고, 악성 민원에 엄정 대응해야 한다.

AI 환각의 불가피성과 양면성을 인식하고 위험을 최소화하면서 창의성을 제고하기 위해 글로벌 빅테크는 기술 개선 노력을 기울이고 선진국 정부는 대응 전략을 마련하고 있다. AI 사용자들은 AI 환각에 대한 관점을 전환할 때다. AI ‘환각’이라는 용어가 부정적 뉘앙스를 내포하고 있지만 긍정적인 결과를 내는 경우도 있으므로 중립적 개념으로 정립해야 한다. 사실 왜곡으로 피해를 유발하는 경우와 새로운 아이디어를 만들어내는 경우로 구분하되 부정적 측면을 경계하면 된다.


이재희 필자 주요 이력 

▷서울대 사범대학 영어교육과 졸업 ▷서울대 대학원 교육학박사 ▷한국교육개발원 선임연구원 ▷미국 텍사스대(오스틴) 연구교수 ▷한국초등영어교육학회 회장 ▷경인교육대학교 6대 총장 ▷국제언어대학원대학교 총장