1990년대 후반부터 2000년대 초반은 인터넷 기업의 전성시대였다. 특히 야후, 네이버, 다음, 네이트, 엠파스, 라이코스 등 검색 서비스 중심의 포털 사이트는 인터넷 곳곳에 흩어진 정보를 찾아주는 중요한 역할을 했다.
서비스마다 특색 있는 검색 기능도 제공했다. 야후는 맛집이나 근처 시설 등 특정 장소를 검색하는 '야후 거기'를, 엠파스는 다른 포털 사이트의 데이터까지 모두 검색할 수 있는 '열린검색'을 선보이기도 했다. 네이트는 지금은 다음 검색 결과를 가져오지만 과거에는 여러 정보를 키워드별로 정리해서 보여주는 '시맨틱 검색'을 주요 서비스로 내세우기도 했다.
이러한 검색 서비스는 날이 갈수록 진화하고 있다. 특히 인공지능(AI)과 기계학습(ML) 기술 발전은 이전에는 불완전했던 검색 서비스의 빈틈을 메우고, 사용자가 원하는 정보를 정확하게 찾아 보여준다. 특히 인터넷뿐만 아니라 기업 내부에 산재한 다양한 정보를 찾는 업무용 검색 서비스까지 AI를 기반으로 발전하고 있다.
◆심층학습과 만난 검색 솔루션, 세상 모든 질문에 답을 찾는다
김동환 포티투마루 대표는 20여 년 전 엠파스에서 검색엔진을 만드는 개발자로 활동했다. 엠파스가 네이트와 합병되면서 검색사업본부장을 맡았다. 엠파스에서는 자연어 기반 검색을, 네이트에서는 시맨틱 검색 개발을 주도했다. 하지만 당시에는 AI나 심층학습 등 관련 기술이 충분히 발전하지 않아 키워드와 검색 결과를 연결하기 위한 수작업이 많이 필요했고, 검색 결과 역시 사용자를 만족시키기 어려웠다.
김 대표는 "과거 자연어 검색은 일상 언어를 수작업으로 분류하고 검색어와 연결하는 방식이어서 검색엔진이 문장 자체를 이해하지는 못했다. 시맨틱 검색 역시 관련 정보에 일일이 라벨링 작업을 하고 검색 결과와 함께 보여주는 방식이다. 당시에는 심층학습 기법이 등장하지 않았기 때문에 수작업이 많이 필요했다"고 말했다.
그러면서 "반면 심층학습은 학습을 통해 문장 자체를 이해하는 기술이다. 특히 사람이 공부하면서 문장을 더 잘 읽고 뜻을 이해하는 것처럼 심층학습을 통해 문장에 대한 해석 능력도 높아진다. 라벨링하지 않은 100만개, 1000만개 정보를 모두 자동으로 분류하는 것이 지금의 기술"이라고 설명했다.
그는 20여 년간 검색 분야에서 일하면서 기술적으로 해결하지 못한 문제를 심층학습으로 해결하고, 필요한 결과를 찾아내는 솔루션을 개발했다. 현재 포털 사이트 엔진에서 특정 단어나 문장을 검색하면 여러 개 결과가 나오며 사용자가 이를 직접 비교하고 읽어가며 원하는 답을 찾는다. 하지만 김 대표는 사용자가 원하는 것은 정확한 정답이라며 이를 위해 포티투마루를 창업했다고 밝혔다.
포티투마루는 소설 '은하수를 여행하는 히치하이커를 위한 안내서'에서 따왔다. 해당 작품에 등장하는 인공지능 컴퓨터 '깊은생각(Deep Though)'은 삶, 우주, 모든 것에 대한 대답을 750만년간 고민해 '42'라는 답을 내놓으며, 이는 오늘날 IT 개발자 사이에서 명대사로 통한다. 여기에 꼭대기라는 뜻인 순우리말 '마루'를 더해 포티투마루라는 이름을 만들었다는 설명이다.
◆검색 엔진 경험 20년 노하우 녹인 QA 솔루션, 글로벌 기업과 경쟁
그는 "검색에 도입된 기술은 과거와 다르지만 접근 방식은 같다. 예를 들어 가구를 조립할 때 못을 박는다고 하면 못 간격이나 망치로 내리치는 힘을 조절해야 한다. 이 도구가 나사와 드릴로 바뀌더라도 어떤 위치에 박아야 하는지 정확하게 알아야 하는 것과 같다"고 말했다.
그러면서 "검색 솔루션이 겉으로 봤을 때는 질문을 던졌을 때 바로 답을 찾는 것처럼 보이지만 결국은 다양한 기술이 종합적으로 구성돼 결과를 내보낸다. 우리는 AI를 통한 언어 처리 기술에 검색 분야 경험과 노하우를 녹였다"고 덧붙였다.
AI가 학습한 데이터는 기업 내에서 정리되지 않은 방대한 문장과 맥락을 이해한다. 이를 통해 필요한 자료를 검색하는 것은 물론 기업 운영과 산업에서 발생할 수 있는 위협도 사전에 찾아낸다. 과거에는 전문가가 직접 감시하며 찾아내야 하는 계약상 허점을 실시간으로 예측하고 대응할 수 있다.
연구개발 부서는 특허, 내부 문서, 업계 보고서를 검색해 기존 기술이 신규 프로젝트 개념과 중복되지 않는지 확인할 수 있다. 전자·제조 개발에서는 공급 업체 카탈로그, 경쟁 업체 보고서 등에서 필요한 정보를 전문가에게 질문하듯 검색할 수 있다. 제약업계는 연구 논문, 특허, 내부 문서를 기반으로 기존 기술을 활용하고 시장 출시 기간도 단축할 수 있다.
또, 음성인식 기술과 연계하면 AI 고객센터나 챗봇을 통해 소비자 이용 만족도를 높이는 것도 가능하다. 자연어 이해를 통해 소비자가 제기하는 질문에 답하는 것은 물론, 소비자 역시 자연스러운 형태로 원하는 서비스를 찾을 수 있다.
기존 시나리오 기반 챗봇은 이해할 수 없는 질문에 대해서는 키워드를 중심으로 소비자에게 선택지를 여러 개 주면서 원하는 서비스를 찾도록 한다. 이는 소비자 경험을 훼손하고, 인간 상담원과 연결하는 계기가 된다. 반면 AI 기반 챗봇은 자연어로 대화하는 것은 물론 AI가 소비자의 표현과 맥락을 추론해 서비스를 제공한다. 이는 고객지원팀의 업무 부하를 줄이는 한편 소비자 경험 개선에도 중요한 역할을 한다.
AI 스피커 등에서도 자연어 처리 기술을 기반으로 대화형 AI가 구현하는 솔루션도 제공하고 있다. 이를 자동차 제조업과 연계하면 운전자는 차량 내 기능을 조작하기 위한 매뉴얼을 찾아보지 않고도 음성으로 물은 뒤 답을 들을 수 있다. 호텔이나 컨시어지 서비스에서도 개인에게 최적화한 경험을 자연스럽게 제공할 수 있다.
해당 기술은 스탠퍼드대학교가 주관하는 인공지능독해 경진대회 '스쿼드'에서 글로벌 주요 빅테크 기업과 경쟁했으며 구글과 공동 1위를 차지하기도 했다. 이를 기반으로 하는 솔루션을 현재 LG유플러스, SK이노베이션, KT, NH, 기아 등 국내 주요 기업과 금융기관 등이 도입했다.
그는 "현재는 기업 시장에서 국내뿐만 아니라 외국까지 진출해 사업을 안정화시키는 것이 목표다. 향후에는 일반 사용자를 대상으로도 뉴스 큐레이션이나 요약 등을 제공할 계획이다. 또 암호화폐나 가상자산 거래에서도 정확한 데이터를 기반으로 매매할 수 있도록 하는 보조 서비스를 상상할 수도 있을 듯하다"고 말했다.
이어 "우리는 세상의 모든 질문에 대한 답을 찾는 것을 비전으로 하고 있다. 경영 관점에서 표현하자면 이것이 결국 시장이다. 우리 기반 기술을 바탕으로 구글, AWS, MS 등과 기업 간 거래(B2B) 시장에서 경쟁하고 글로벌 최고 수준이 되는 것이 목표"라고 덧붙였다.
©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지