[김정래의 AI 국가론 ⑬] 정부가 쓰는 AI, 어떻게 공개되고 검증받아야 하나

  • PART 4. AI 국가의 설계

  • 재설계 → [검증] → 통제

김정래 아주경제 전국팀장 사진 아주경제
김정래 아주경제 전국팀장. [사진= 아주경제]


인공지능(AI)이 국가의 행정과 판단 안으로 들어오고 있다. 복지·재난·교통·민원에서 경찰·수사와 규제까지 영역도 빠르게 넓어지고 있다. '김정래의 AI 국가론'은 AI를 기술의 문제가 아닌 국가의 능력과 책임의 문제로 바라본다. 국내외 실제 사례와 데이터를 통해 AI가 행정을 얼마나 바꿀 수 있는지 검증하고, 공무원과 조직은 어떻게 달라져야 하는지 살핀다. 나아가 AI가 공권력과 국민의 관계를 어떻게 바꾸는지 짚고, 중앙정부와 지방정부가 어떤 역할을 맡아야 하는지 묻는다. 목표는 AI를 경계하는 국가가 아니라 AI를 제대로 사용할 줄 아는 국가다. [편집자주]


네덜란드 감사원은 2022년 정부기관이 사용하는 알고리즘 9개를 감사했다. 모든 기본 요건을 충족한 것은 3개뿐이었다.

문제는 제각각이었다. 여권사진의 품질을 판정하는 알고리즘은 담당 기관이 정확성을 독립적으로 검증하지 못했다. 경찰의 범죄예측 시스템은 편향 여부를 점검하지 않았다. 일부 기관은 누가 알고리즘과 데이터에 접근할 수 있는지도 제대로 파악하지 못했다.

정부기관은 필요하다고 판단해 이 시스템들을 도입했다. 하지만 감사원이 다른 기준으로 들여다보자 문제가 드러났다.


여기서 두 가지 질문이 생긴다. 첫째, 무엇을 ‘좋은 AI’라고 정의할 권한은 누구에게 있는가. 둘째, 그 기준을 충족했다고 판정할 권한은 누구에게 있는가.

AI의 성능은 숫자로 나타낼 수 있다. 정확도 95%라면 상당히 좋은 시스템처럼 보인다. 하지만 나머지 5%의 오류가 어디에서 발생하는지에 따라 평가는 달라진다.

회의자료를 분류하는 AI가 문서 100건 가운데 5건을 잘못 분류하는 것과 복지 대상자를 판별하는 AI가 100명 가운데 5명을 잘못 판단하는 것은 다르다. 같은 95%라도 오류의 무게가 다르다. 수사나 세무조사 대상을 선별하는 AI라면 더 그렇다.

정확도를 계산하는 것은 기술의 영역이다. 국가가 어느 정도의 오류를 허용할 것인지는 기술만으로 결정할 수 없다. 전체 정확도가 높아도 특정 집단에서 오류가 집중될 수 있다. 개인정보를 과도하게 사용해 정확도를 높일 수도 있다.

국가가 사용하는 AI는 기술적 성능만으로 평가할 수 없는 이유다. 행정 목적에 맞는지, 국민의 권리에 어떤 위험을 초래하는지도 따져야 한다.

네덜란드 감사원은 2024년 중앙정부 기관 70곳을 추가 조사했다. 이들이 사용했거나 사용한 적이 있는 AI 시스템은 433개였다. 국가 알고리즘 등록부에 공개된 것은 5%에 불과했다. 현재 사용 중인 시스템의 35%는 기대한 성능을 내는지 확인되지 않았고, 절반 이상은 기회와 위험을 비교·평가하지 않았다.

감사원은 정부기관이 AI의 위험을 낮게 분류할 유인도 있다고 지적했다. 위험 수준을 도입 기관이 스스로 판단하는 구조에서는 검증의 독립성이 중요해진다.

한국도 AI 검증을 위한 제도적 기반을 마련했다. 올해 8월 시행된 ‘인공지능 및 데이터 기반 행정 활성화에 관한 법률’에 따라 내년 2월부터 ‘공공분야 인공지능 영향평가’가 시행된다.

공공기관은 원칙적으로 AI를 도입하기 전에 국민의 기본권에 미칠 영향을 평가하고 결과를 공표해야 한다. 법 시행 당시 이미 AI를 도입·활용하고 있던 공공기관도 2028년 8월까지 영향평가를 실시하고 결과를 공표해야 한다. 다만 국가안보 등 기밀 보호가 필요한 경우나 기본권에 미치는 영향이 작은 단순·반복 업무 등은 법에서 정한 요건에 따라 제외될 수 있다.

평가 항목에는 AI 의사결정 과정과 결과의 투명성, 성능과 신뢰성, 데이터와 알고리즘에 따른 편향 가능성, 국민의 기본권 보호 등이 포함된다.

영향평가를 받은 AI에 대해서는 운영 단계의 위험관리방안도 수립·시행하도록 규정했다. 법 제32조 제4항과 같은 법 시행령 제29조에 따라 공공기관은 AI의 성능과 안전성을 점검하고 오류와 편향에 대응하는 절차를 마련해야 한다. 로그기록 관리, 운영 중단과 이용자 보호, 민원·이의제기·피해구제 절차도 포함된다.

문제는 평가 결과를 공개하는 것과 그 결과가 타당한지 검증하는 것은 별개라는 점이다.

영향평가는 원칙적으로 의무지만 외부기관에 평가를 맡기는 것은 선택이다. 법 제32조 제1항은 영향평가의 주체를 ‘공공기관의 장’으로 정했다. 반면 같은 조 제3항은 전문기관 등에 평가를 ‘의뢰할 수 있다’고 규정한다. ‘의뢰하여야 한다’가 아니다.

시행령 제28조도 외부 평가기관의 범위를 정했을 뿐 외부 의뢰를 의무화하지 않았다. 공공기관은 직접 평가할 수도 있고 외부기관에 맡길 수도 있다. 자체평가를 선택하면 자신이 도입할 AI의 적정성을 자신이 판단하는 구조가 가능하다.

물론 평가 기준까지 임의로 정할 수 있는 것은 아니다. 평가 항목은 시행령이 규정한다. 영향평가 제외 여부도 사유에 따라 행정안전부장관과 협의하거나 확인을 받아야 한다. 그러나 이 법은 AI의 위험 수준에 따라 독립적인 외부검증을 의무화하지는 않았다.

민원 분류를 돕는 AI와 복지 수급 여부에 관여하는 AI의 위험은 같지 않다. 수사나 조사 대상을 선별하는 AI라면 국민의 권리에 미치는 영향은 더 커질 수 있다. 그런데 위험이 커져도 외부검증이 자동으로 의무가 되는 것은 아니다.

외부기관에 평가를 맡기는 것만으로 독립성이 보장되는 것도 아니다. 평가기관을 누가 선정하는지, 이해충돌을 어떻게 방지하는지, 평가 결과를 어느 범위까지 공개하는지에 따라 검증의 실효성이 달라진다.

공표 역시 마찬가지다. 영향평가를 실시했다는 사실이나 적합하다는 결론만 공개해서는 그 판단이 타당한지 확인하기 어렵다. 어떤 데이터를 사용했는지, 어떤 위험을 확인했는지, 오류와 편향을 어떻게 점검했는지 알아야 검증이 가능하다. 개인정보나 보안상 공개할 수 없는 정보는 보호하되, 판단의 근거까지 가려져서는 안 된다.

단순 행정업무를 보조하는 AI라면 자체평가로 충분할 수 있다. 그러나 복지, 수사, 조사처럼 국민의 권리와 의무에 직접 영향을 미치는 AI는 다르다. 일정 수준 이상의 위험이 확인되면 독립적인 외부검증을 의무화하고, 검증 결과와 판단 근거의 공개 기준도 함께 마련할 필요가 있다.

검증은 도입 시점에 끝나서도 안 된다. 데이터와 행정환경이 바뀌면 AI의 성능과 위험도 달라진다. 적용 범위가 확대되거나 예상하지 못한 오류와 편향이 확인되면 위험 수준에 따라 다시 검증해야 한다.

법은 무엇을 평가할지 정했다. 이제 남은 과제는 그 평가가 타당한지 누가 확인하고, 국민이 무엇을 근거로 검증 결과를 신뢰할 수 있도록 할 것인가다. 국가가 사용하는 AI의 신뢰는 스스로 내린 평가가 아니라 그 평가를 독립적으로 확인할 수 있는 구조에서 나온다.
 


©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지

컴패션_PC
댓글0
0 / 300

댓글을 삭제 하시겠습니까?

닫기

로그인 후 댓글작성이 가능합니다.
로그인 하시겠습니까?

닫기

이미 참여하셨습니다.

닫기