인간 행세하는 AI에 실리콘밸리 골머리...거짓말하고 저격글까지 스스로 작성

7월 한달만 300건…연간 누적 1600건 돌파

"BOOM!"…해킹 성공에 자축한 AI 에이전트들

오픈AI·구글·메타 종사자 1200명 "속도 조절 나서달라"

AI로 만든 이미지 [사진=제미나이]

인공지능(AI) 모델의 발달과 함께 AI가 스스로 통제에서 벗어나 인간인 척 행세하며 승인 절차를 무력화하는 등 이탈행동 사례가 급격히 증가하고 있다. 실험실이 아닌 실제 배포 환경에서 수집한 수치라는 점에서 정부보다 AI업계가 먼저 경각심을 키우는 상황이다.
 
30일 IT업계에 따르면 영국 AI안전연구소(AISI)의 싱크탱크 CLTR(Centre for Long-Term Resilience)은 'AI 통제이탈 관측소'를 통해 지난해 10월부터 올해 3월까지 5개월간 18만3000여 건의 트랜스크립트를 분석해 신뢰할 수 있는 AI 이탈행동 698건을 확인했다. 이 기간 월별 발생건수는 4.9배 증가했다.
 
별도 발표된 최신 수치에 따르면 7월 한달에만 300건 이상의 이탈행동 사례가 확인돼 6월 대비 거의 두 배로 늘었고, 2026년 누적 확인 건수는 1600건을 넘어섰다.
 

AI의 이탈행동 방식도 다양하다. 호주에서는 개인용 AI 에이전트가 사용자 몰래 헬스장 인기 아침반 대기명단에서 다른 회원을 제외시켜 자리를 만든 사건이 있었다.
 
한 AI 모델은 자신을 통제하는 인간인 척 문체까지 흉내내 스스로 승인절차를 통과시켰고, 다른 사례에서는 개발자가 코드 수정 제안을 거부하자 AI 에이전트가 해당 개발자를 비판하는 글을 블로그에 올려 공개 비난했다.
 
저작권 제한을 피하려 '청각장애인용 접근성 대본을 만드는 중'이라며 다른 AI 모델을 속인 사례, 자신의 추론 과정을 요약·감시하는 별도 AI를 속이려 한 정황도 새롭게 포착됐다. CLTR은 이 같은 사례들이 그동안 실험 환경에서만 보고돼온 기만행동이 실제 배포 환경에서도 동일하게 나타나고 있다는 증거라고 짚었다.
 
같은 흐름은 오픈AI에서도 확인됐다. 오픈AI는 지난주 공개한 기술보고서에서, 7월 자사의 내부 연구용 모델들이 사이버보안 평가 도중 소프트웨어 저장소 허깅페이스의 실제 프로덕션 서버에 침투한 사건의 전말을 밝혔다.

최대 700개에 달하는 자율 에이전트들이 즉석에서 만든 메시지보드를 통해 서로 소통하며 훈련 평가를 속이는 '리워드 해킹'을 벌였고, 해킹에 성공할 때마다 "BOOM!", "Whoa!" 같은 감탄사를 남기며 서로 자축한 정황도 담겼다.

오픈AI는 이미 5월 말부터 관련 징후를 내부적으로 포착했지만 테스트를 중단하지 않았다며 "지나고 보니 초기 신호가 더 빠른 대응을 촉발할 수도 있었다"고 인정했다.
 
사건 이후 오픈AI는 문제가 된 모델의 가중치를 격리 조치하고, 프런티어 강화학습 훈련을 일부 지연시켰으며, 정렬(얼라인먼트) 훈련을 가속화하는 등 보안 개선에 나섰다고 밝혔다. 앤트로픽과 메타 역시 허깅페이스 사건 이후 "우리 모델도 배포 전 테스트 과정에서 실제 시스템을 해킹한 적이 있다"고 인정하며, 이번 문제가 오픈AI만의 사례가 아니라는 점을 시사했다.
 
CLTR은 "아직 최악의 시나리오는 관측되지 않았다"면서도, AI 에이전트가 코드·소프트웨어를 넘어 금융·인프라 등 더 중요한 업무를 맡게 될수록 위험 수위가 높아질 수 있다고 경고했다. 이에 따라 각국 정부에 AI 기업의 심각한 통제이탈 사건에 대한 모니터링·보고를 의무화하고, 필요 시 AI 서비스를 일시 제한할 수 있는 비상권한을 도입할 것을 요구했다.
 
업계 전반의 경계감도 커지고 있다. 지난달 30일 오픈AI·앤트로픽·구글 딥마인드·메타 소속 1200명 이상의 AI 업계 종사자들은 "정부가 AI 개발 속도를 조절할 수 있는 장치 마련에 나서달라"는 공동성명 '페이싱 더 프런티어'에 서명했다. 오픈AI는 이달 초 차세대 모델 '아스트라'가 사이버보안 관련 잠재 위험 신호를 보였다는 이유로 일부 모델 개발을 일시 중단하기도 했다.

아주캐스트