모티프테크놀로지스, 'Motif 12.7B' 공개…프롬 스크래치 역량 입증

[사진=모티프테크놀로지스]

인공지능(AI) 스타트업 모티프테크놀로지스(모티프)가 자체 개발한 대규모 언어 모델(LLM)인 ‘Motif 12.7B’를 허깅페이스에 오픈소스로 공개했다고 5일 밝혔다.

127억 개의 매개변수(파라미터)를 갖춘 이 모델은 모델 설계부터 데이터 학습까지 모든 과정을 ‘프롬 스크래치(From scratch)’ 방식으로 자체 구축한 점이 특징이다.

모티프는 독자적으로 개발한 '그룹 단위 차등 어텐션(Grouped Differential Attention)'과 '뮤온 옵티마이저(Muon Optimizer) 병렬화 알고리즘'을 적용해 모델의 추론 성능과 학습 효율을 동시에 끌어올렸다.

벤치마크 결과, Motif 12.7B는 수학·과학·논리 과제를 평가하는 ‘AIME25’, ‘GPQA-Diamond’, ‘지브라로직(ZebraLogic)’ 등 주요 추론 테스트에서 720억 매개변수 규모의 알리바바 ‘큐원 2.5(Qwen 2.5·72B)’를 앞섰다

특히 강화학습(RL) 과정 없이도 고도화된 추론 능력을 구현했다는 점이 차별점으로 꼽힌다. 모티프는 LLM 개발 과정에서 가장 비용이 많이 드는 강화학습 단계를 생략하고, '추론 중심 지도학습(Reasoning-Focused SFT)' 방식을 도입해 모델이 스스로 논리적 사고와 문제 해결을 수행하도록 설계했다.

임정환 모티프테크놀로지스 대표는 "Motif 12.7B는 단순한 성능 향상을 넘어 AI 모델의 구조적 진화를 보여주는 사례가 됨과 동시에 보다 비용 효율적인 고성능 LLM을 원하는 기업들에게 모범 답안이 될 것"이라고 했다.