마음AI, 퀄컴과 맞손…온디바이스 AI 기반 음성 대화 제품 '수다' 공개

내년 1월 CES 2025서 본격적으로 선보여

[사진=마음AI]

마음AI는 내년 1월 미국 라스베이거스에서 열리는 'CES 2025'에서 퀄컴과 온디바이스 인공지능(AI) 협력 성과를 공개한다고 18일 밝혔다.

마음AI는 이번 CES 2025에 단독 부스를 차린다. 이 자리에서 초거대언어모델(LLM) 기반 음성 대화 제품인 '수다(SUDA)'를 선보인다.

회사 측에 따르면 '수다'는 퀄컴 QCS6490 프로세서 기반의 RB3 2세대 플랫폼을 탑재했다. 음성 대화를 위한 음성텍스트변환(STT), LLM, 텍스트음성변환(TTS)를 지원하며 인터넷 연결 없이도 디바이스상에서 음성 대화가 가능하도록 했다.

퀄컴의 QCS6490 프로세서는 스마트홈, 운송, 창고 관리, POS 키오스크, 커넥티드 헬스케어, 물류 관리 등 산업용 사물인터넷(IoT) 애플리케이션에 최적화된 플랫폼으로 꼽힌다. 이번 퀄컴과의 협업으로 마음AI는 해당 프로세서에 STT와 TTS, LLM을 성공적으로 탑재했다. LLM은 라마 3.2 기반으로 크기는 10억파라미터(매개변수)다.

마음AI는 LLM 추론 속도를 최대로 끌어올린 결과, 온디바이스상에서 총 처리 지연시간을 1.5초 이내로 단축하는 데 성공했다. 일반적인 AI 스피커나 가전제품에 탑재된 음성 대화 모듈들에 비해 사용자 경험을 높일 수 있다는 설명이다. 이를 통해 원활한 음성 상호작용 서비스를 구현할 수 있다고 강조했다.

이를 기반으로 마음AI는 '수다'를 통해 홈 IoT를 제어하는 시연을 CES 2025에서 공개한다. 가령 "너무 눈부신데"라고 말하면 LLM이 사용자의 의도를 파악하고 블라인드를 내리도록 하는 식이다. 홈 IoT 환경에서 여러 센서나 가전제품 등을 제어하는 에이전트(Agent) 기능을 구현하기 위해, 마음AI는 LLM에 펑션콜(Function call) 기능을 구현했다. 사용자는 API로 호출 가능한 모든 센서와 가전제품 등 홈 IoT 제품들을 자연어로 쉽게 제어할 수 있다.

최홍섭 마음AI 기술총괄 대표는 "퀄컴의 RB3 2세대 플랫폼에 당사의 기술을 탑재할 수 있는 협업 기회를 얻게 돼 기쁘다"며 "QCS6490 프로세서에 LLM을 탑재하려는 수요가 많은 것으로 알고 있으며, 앞으로도 퀄컴과 긴밀한 협력을 통해 온디바이스 AI 시장을 선도할 수 있을 것이라 기대한다"고 말했다.