[아주초대석] 김상목 SKT AI 엔터프라이즈 사업담당 "공공 LLM, 공무원 업무 필수 된다"...민원인 불편 해소 자신

'범정부 초거대 AI' 도입 발맞춰 SKT 공공 언어모델 개발 속도

거짓정보 사실처럼 말하는 '환각'...'검색증강생성' 기술로 문제 최소화

공공 언어모델, K-AI 반도체 결합해 정부·기업 운영 비용 절감 강점

김상목 SKT 엔터프라이즈 CIC(사내독립기업) AI 엔터프라이즈 사업담당. [사진=SK텔레콤]

통신·미디어·엔터프라이즈 등 사업 전반에 인공지능(AI)을 도입함으로써 ‘글로벌 AI 컴퍼니’로 도약하려는 SK텔레콤(SKT)이 정부가 올해 추진하는 ‘범정부 초거대 AI’ 도입 사업에 대비하기 위해 ‘공공 초거대언어모델(LLM)’ 연구개발에 속도를 낸다. SKT는 지난해 행정안전부가 진행한 ‘AI, 행정 지원 서비스 시범 개발’ 사업에 LG CNS와 함께 파일럿(사전) 테스트 형태로 참여하며 성과를 냈다. 올해는 생성 AI의 가장 큰 난제로 여겨지는 ‘할루시네이션(환각)’ 문제를 해결해 공무원들이 민원인에게 더 빠르고 정확한 정보를 제공할 수 있도록 지원할 계획이다. 할루시네이션이란 AI 모델이 정확하지 않거나 사실이 아닌 조작된 정보를 생성하는 것을 말한다.

3일 SKT 공공 LLM 사업을 총괄하는 김상목 SKT 엔터프라이즈 CIC(사내독립기업) AI 엔터프라이즈 사업담당(부사장)은 아주경제와 인터뷰에서 “공공 LLM이 상용화되면 공무원들의 민원상담 품질이 전과는 비교할 수 없을 정도로 향상될 것”이라고 강조했다.

공무원들이 현장에서 민원인 응대를 하며 겪는 가장 큰 애로사항은 자신의 답변이 법령과 행정절차에 맞춰 제대로 이뤄졌는지 확신하기 어려운 점이다. 만약 잘못된 답변을 하면 민원인의 항의에 직면할 수밖에 없고, 이는 결국 공무원 답변 속도가 느리고 경직되는 ‘소극행정’의 원인이 된다.

김 담당은 이러한 문제를 공공 LLM을 활용한 범정부 초거대 AI를 통해 해결할 수 있을 것으로 기대하고 있다. 우선 다양한 법령과 행정절차, 민원해결 사례 등을 학습한 범정부 초거대 AI를 만들고, 이를 일선 민원담당 공무원들에게 조력자로 제공하는 것이다. 이용자가 자신이 잘 모르는 지식을 챗GPT 등 초거대 AI에 물어보듯이 공무원도 어려운 민원을 범정부 초거대 AI에 물어보고 최선의 대처법을 찾을 수 있다. 이를 통해 민원 답변의 정확성은 높아지고 민원 해결에 걸리는 시간은 크게 짧아질 것으로 기대된다.

김 담당은 “정확하고 빠른 답변이 필요한 공공분야에서 방대한 지식을 요약·정리하는 공공 LLM에 대한 수요가 커지고 있다”며 “특히 다급한 민원인이 몰리는 복지·노무 관련 상담에서 큰 효과를 볼 것”이라고 말했다.

그러면서 “공공 LLM 도입으로 정부부처는 각 부서마다 ‘AI 주무관’이 한 명씩 생기는 효과를 거둘 것”이라며 “공공에서도 AI가 업무에 필요한 법령·자료를 찾고 정리하면 사람이 의사결정과 내용보강을 하는 모습이 보편화될 것”이라고 예측했다.

이 점에서 공공 LLM은 민간의 ‘AI콜센터(AICC)’와 역할이 같다. 김 담당은 “공공 LLM으로 만든 범정부 초거대 AI는 AICC와 마찬가지로 결국 ‘어시스턴트(비서)’ 역할을 하게 될 것”이라며 “AICC가 상담원 간 편차를 줄이고 고객응대 효과를 높이는 것처럼 범정부 초거대 AI도 잦은 보직변경으로 인한 공무원의 미숙한 대처를 줄이고 공공 서비스의 질을 상향평준화하는 효과를 낼 것”이라고 설명했다.
 

'선 검색, 후 생성'...언어모델 업무 도입 장벽 '할루시네이션' 해결 자신

행정안전부는 공공 LLM을 활용한 범정부 초거대 AI에 △보고서·보도자료 초안 작성 △공문서→보도자료 변환 △법령·행정절차 문의에 대한 답변 등 세 가지 역할을 기대하고 있다. 파일럿 테스트에서 SKT는 공공 LLM을 활용해 법령·행정절차 문의에 대한 답변을 제공하는 AI 모델을 개발했다. AI 모델이 고도화되고 공공 데이터가 추가로 열리면 공문서→보도자료 변환에도 나설 방침이다. 보고서·보도자료 초안 작성용 AI 모델은 LG CNS와 SKT가 투자한 ‘코난테크놀로지’가 개발을 진행했다.

SKT는 정부가 올해부터 본격적으로 공고를 낼 것으로 예상되는 범정부 초거대 AI 구축 사업을 수주하기 위해 생성 AI 상용화의 가장 큰 난관으로 여겨지는 할루시네이션 최소화에 심혈을 기울이고 있다. 

김 담당은 “현재 LLM을 상용화하는 데 가장 큰 문제는 할루시네이션 현상”이라며 “SKT는 공공 LLM에 ‘검색증강생성(RAG)’ 기술을 적용해 할루시네이션을 없애는 데 집중하고 있다”고 말했다. 

검색증강생성이란 생성 AI가 문장을 만들 때 비밀 또는 보안 데이터로 이를 보완하는 기술이다. SKT 공공 LLM도 공무원의 질문 맥락을 읽고 가장 유사한 문서를 우선 검색함으로써 할루시네이션 가능성을 최소화한다.

이를 두고 김 담당은 “검색증강생성이 적용된 공공 LLM은 답변을 생성할 때 AI 모델 학습에 이용한 데이터로 답변을 하는 게 아니라 법령과 행정절차를 우선 검색한 후 이를 요약하는 형태로 답변을 한다”고 덧붙였다.

검색증강생성을 적용한 공공 LLM의 사례로는 지방공무원의 비상근무수당 지급 방법 등을 꼽을 수 있다. 챗GPT 등 일반적인 생성 AI에 방법을 물어보면 기존에 학습한 비상대비에 관한 법률 시행령 등을 토대로 답변을 한다. 하지만 이는 틀렸다. 실제 지방공무원 비상근무수당 지급은 지방공무원 수당에 관한 규정에 있는 특수업무수당 지침을 따르기 때문이다. SKT 공공 LLM은 연관된 법령·행정지침을 우선 찾은 후 이를 요약함으로써 할루시네이션을 피하고 정확한 답변을 할 수 있다는 게 김 담당의 설명이다.

SKT의 AI 사업 전략 핵심은 ‘멀티 LLM’이다. 이는 △오픈AI GPT △메타 라마 △앤트로픽 클로드 등 여러 AI 파운데이션(기초) 모델 가운데 고객이 원하는 것을 선택해서 파인튜닝(미세조정)한 후 제공하는 것을 골자로 한다. 다만 공공 LLM은 보안과 외부 데이터 유출에 민감한 공공 서비스 특징을 고려해 SKT가 자체 개발한 한국어 특화 파운데이션 모델인 ‘에이닷 엑스(X)’와 K-AI 얼라이언스 파트너사인 코난테크놀로지의 '코난 LLM'만 사용할 방침이다. 코난 LLM은 법률 자문과 같이 긴 문장을 생성할 때 강점이 있는 것으로 알려졌다.

정부는 민감 데이터 외부 유출을 막기 위해 범정부 초거대 AI는 공공 데이터센터 구축형으로 진행할 방침이다. 김 담당은 “구축형으로 서비스를 만들려면 LLM보다는 ‘소형 LLM(sLLM)’을 파인튜닝해서 서비스를 만드는 게 유리하다”며 “모든 기업 간 거래(B2B) 사업이 마찬가지이지만, 공공 LLM을 포함해 SKT의 모든 AI B2B 사업은 고객 업무를 이해한 후 서비스와 인프라를 어떻게 구성하는 게 좋은지 분석해서 제안하는 형태로 사업을 전개할 것”이라고 말했다.
 

[사진=아주경제DB]

AI 모델+반도체 통합 공급으로 정부·기업 운영비↓

김 담당은 범정부 초거대 AI 도입 성공을 위해 하드웨어 인프라 도입과 유지·관리에 대한 조언도 아끼지 않았다. 그는 “공공 LLM 생성을 위한 학습의 경우 법령이 새로 생겼다고 AI 모델 자체를 새로 만들 필요가 없는 만큼 생각보다 큰 문제는 아니었다”며 “1주일에서 1달 단위로 데이터베이스를 업데이트하고 반년에서 일년마다 AI 모델 학습을 진행하면 충분할 것”으로 예측했다. 공공 LLM 학습은 SKT가 보유한 슈퍼컴퓨터·AI 반도체팜에서 우선 진행하고, 만약 인프라가 부족하면 인공지능산업융합사업단(AICA)이 보유한 광주 AI 센터의 AI 반도체팜을 활용할 계획이다.

문제는 공공 LLM 추론(실행)이다. 공공 LLM을 운영하기 위한 하드웨어 인프라 확보와 유지·보수에 큰 비용이 필요하다. 오픈AI를 포함한 전 세계 모든 생성 AI 스타트업이 이 비용 문제를 해결하기 위해 골머리를 앓고 있다.

SKT는 AI 반도체 자회사 ‘사피온’이 만든 K-AI 반도체 ‘X330’을 공공 LLM과 함께 공급함으로써 정부 기관과 기업이 AI 운영비로 절감할 수 있도록 할 계획이다. AI 하드웨어와 소프트웨어를 함께 제공하는 ‘턴키’ 전략이다. X330은 동급 엔비디아 AI 반도체와 비교해 전력은 적게 소모하면서 더 효과적으로 LLM을 추론함으로써 AI 서비스 운영비를 줄여주는 게 강점이다.

김 담당은 “현재 사피온 측에서 내년 3분기 상용화를 목표로 (X330으로 구성된) 추론 전용 서버를 만들고 있다”며 “SKT도 이에 맞춰 하나의 AI 반도체에서 여러 개의 AI 모델을 추론할 수 있는 기술을 개발 중”이라고 설명했다. 

그러면서 “아직 X330 추론 서버의 가격이 확정되지 않았기 때문에 엔비디아 AI 반도체보다 얼마나 경쟁력 있는지 꼭 집어서 말할 수는 없다”며 “하지만 H100, A100 등과 비교해 성능 대비 경제적인 가격으로 책정할 전망”이라고 덧붙였다.

범정부 초거대 AI는 구축형으로 진행하는 만큼 시중의 클라우드형 초거대 AI와 비교해 AI 모델 유지·보수 관련 문제가 생길 수밖에 없다. 김 담당은 “LLM은 다른 IT 시스템과 달리 지속해서 학습하며 업그레이드되어야 한다”며 “학습 데이터가 쌓일수록 정확도가 더 높아지기 때문”이라고 말했다.

때문에 정부도 AI 모델을 구축하고 끝낼 게 아니라 지속해서 AI 모델을 학습·운영하는 ‘엠엘옵스(MLOps)’ 환경을 구축할 필요성이 있다는 게 김 담당 측의 핵심 주장이다. 이를 위해 행안부·과학기술정보통신부·기획재정부 등 유관 부처가 범정부 초거대 AI 사업에 한해 초기 구축 비용을 낮추고 운영비를 높이는 형태로 추진해야 한다고 조언했다.

김 담당은 “2024년 정부 예산안에 공공 LLM 도입이 반영되지 않은 만큼 올해는 정보화전략계획(ISP) 사업 발주가 우선 나오고 2025년부터 본격적으로 여러 부처 사업 공고가 나올 것으로 예상한다”며 “SKT 엔터프라이즈는 코난테크놀로지, 페르소나에이아이 등 K-AI 얼라이언스 파트너사와 협력해 공공 디지털 전환을 선도할 것”이라고 말했다.