AI가 자기 추천 다시 학습하니…인기 상품 쏠림·오류 반복

이연창 UNIST AI대학원 교수팀, '에코트레이스' 개발

[사진=UNIST]

거대언어모델(LLM)을 활용한 인공지능(AI) 추천 시스템이 자신이 내놓은 추천 결과를 다시 학습하면 특정 항목에 대한 쏠림과 잘못된 추천이 반복될 수 있다는 연구 결과가 나왔다.

8일 울산과학기술원(UNIST)에 따르면 이연창 AI대학원 교수팀은 LLM 기반 추천 시스템에서 편향과 오류가 발생하고 누적되는 과정을 추적하는 진단 도구 '에코트레이스(EchoTrace)'를 개발했다. 연구팀은 이를 활용해 LLM이 추천 목록을 직접 만들거나 사용자 프로필과 학습 데이터를 생성하는 세 가지 방식을 분석했다.

LLM이 추천 목록을 직접 만든 경우 추천 대상에 없는 항목을 제시한 비율은 영화 4.07%, 도서 7.4%, 가게 13.14%였다. 영화 이용 기록을 바탕으로 추정한 사용자 직업은 93.16%가 실제 기록과 달랐다. 학습용으로 생성한 데이터도 특정 장르나 업종에 치우쳤다. 최종 추천에서는 실제 이용 기록에 비해 인기 항목이 더 자주 등장했다.

추천 결과를 다시 학습하는 과정을 다섯 차례 반복해도 초기 편향과 오류는 사라지지 않았다. 일부 시스템에서는 인기 항목으로의 쏠림이 더 커졌다. 특히 LLM이 영화를 직접 추천하는 모델은 사용자 100명 중 86~92명꼴로 다음 영화를 고를 때 자신이 앞서 추천한 작품을 가장 중요하게 참고했다. AI가 내놓은 추천이 사용자 선택 기록으로 학습되고 다시 다음 추천에 반영되는 '피드백 루프'가 초기 편향과 오류를 이어가게 한 것이다.

이 교수는 "이번 연구는 LLM 기반 추천 시스템의 편향과 환각이 반복적인 추천 과정에서 어떻게 누적되고 증폭되는지를 LLM의 역할에 따라 체계적으로 진단할 수 있는 기반을 마련했다"고 했다.