업스테이지가 AI 반도체 기업 퓨리오사AI와 손잡고 포털 ‘다음’에서 국산 풀스택 소버린 AI 서비스를 선보인다. 업스테이지의 대규모언어모델(LLM)을 퓨리오사의 AI 신경망처리장치(NPU)에서 구동하고 이를 다음 서비스 ‘AI 오버뷰’에 적용하는 방식이다. 국산 AI 반도체와 모델, 포털 서비스를 하나로 연결해 국산 AI 기술의 자립 가능성을 보여준 사례로 풀이된다.
김성훈 업스테이지 대표와 백준호 퓨리오사AI 대표, 이건수 AXZ 대표는 지난 15일 온라인 대담을 열고 이들이 협력한 다음의 실시간 검색 요약 서비스 ‘AI 오버뷰’ 사례를 소개했다. 또 다음의 에이전트 AI 계획 등 3사의 향후 협력 방안에 대해 밝혔다.
AI 오버뷰는 업스테이지의 LLM 솔라를 퓨리오사AI NPU 레니게이드에서 구동하는 서비스다. 사용자가 여러 링크를 사용자가 하나씩 클릭해 내용을 확인해야 하는 기존 검색 방식과 달리 AI가 문서를 먼저 읽고 핵심 내용을 요약해 제공한다. 다음은 지난 1일부터 AI 오버뷰의 시범 서비스를 시작했다.
이건수 대표는 다음 AI 오버뷰는 실시간 정보를 기반으로 한 최신 정보를 다루는 데 특화됐다고 설명했다. 최근 구글이 검색 상단에서 AI가 출처를 종합, 요약 답변을 보여주는 AI 오버뷰를 서비스하기 시작한 가운데 언론사 제휴, 카페, 티스토리 서비스로 다음이 보유한 정보 중 최신 정보를 가져오는 서비스에 주력했다고 설명했다.
AI 오버뷰에는 현재 서버 3개 노드에 약 24개의 칩이 투입됐으며, 하루 약 5억개의 토큰을 처리하고 있다. 이 대표는 “키워드 검색 방식과 벡터 검색 방식을 결합한 ‘하이브리드 서치’를 적용해 최신 정보를 검색할 수 있도록 했다”며 “또 강력한 하네스 엔지니어링을 적용해 사전에 습득한 지식을 종합해 요약하는 과정에서 발생하는 환각 문제를 해결하기 위해 노력했다”고 말했다.
백준호 대표는 레니게이드의 강점으로 비용 및 전력 효율을 꼽았다. 솔라와 같은 프런티어 모델을 최적의 성능으로 구현하기 위해서는 최적화 작업이 필요한 가운데, 퓨리오사AI는 AI 모델을 효율적으로 변환하는 컴파일러와 다양한 서비스 시나리오에 맞는 모델을 제공하는 서빙 엔진을 하드웨어와 개발하면서 가능해졌다는 설명이다.
3사는 다음의 에이전트AI 서비스를 통해 협력을 이어갈 계획이다. 다음은 AI 오버뷰 서비스 이후 쇼핑, 맛집 등으로 버티컬 AI 서비스를 확장한다. 나아가 다음의 ‘1인 1에이전트’ 보급을 목표로 하고 있다. 현재 AI 오버뷰는 다음 전체 검색 질의의 약 20%에 노출되고 있다. 다음은 향후 AI 오버뷰의 노출 비중을 절반 이상으로 확대한다는 목표다.
다음의 AI 에이전트는 AI 오버뷰와 실시간 트렌드 등 최신 정보를 적극 반영할 것으로 전망된다. 다음의 실시간 트렌드 서비스 이후 검색 트렌드가 변하고 있는 만큼 이를 토대로 사용자 관심사 맞춤형 에이전트를 목표로 구상하고 있다는 설명이다.
이 대표는 “최근 실시간 트렌드 검색 1위는 ‘삼성전자 주가’로 나타났다”며 “사용자가 매일 삼성전자 주가 또는 관련 종목 및 경쟁사 뉴스를 검색하지 않아도, 각각의 사용자에게 필요한 정보를 미리 배달하는 에이전트를 만들 것”이라고 말했다.
퓨리오사AI는 다음 AI 오버뷰와 에이전트 AI 서비스 등에 최적의 토큰 비용 및 성능을 지원하기 위해 솔루션과 제품을 계속 확장한다는 계획이다.
김 대표는 “포털 다음에서 AI 오버뷰를 사용하면 업스테이지의 솔라와 퓨리오사AI의 NPU를 함께 사용하는 것”이라며 “국산 AI 모델과 인프라의 사용량이 늘어나면서 품질도 높아지는 선순환 구조를 만들어야 한다”고 말했다.
©'5개국어 글로벌 경제신문' 아주경제. 무단전재·재배포 금지
![[르포] 중력 6배에 짓눌려 기절 직전…전투기 조종사 비행환경 적응훈련(영상)](https://image.ajunews.com/content/image/2024/02/29/20240229181518601151_258_161.jpg)
