메타, 라마4 전격 출시..."세계 최고의 오픈소스 멀티모달 LLM"

[그래픽=메타]

메타가 '가장 진보된 모델'이라 자부하는 ‘라마 4’를 출시했다. 개발자와 연구자 커뮤니티에 오픈소스로 제공한다.

7일 메타가 공식 출시한 '라마 4'의 최상위 버전인 비헤모스의 파라미터(매개변수)는 2조개에 달한다. 목표하는 활성 파라미터는 2880억개에 달한다. 최하위 버전인 스카우트는 총 1090억개, 매버릭은 총 4000억개의 파라미터를 갖고 있다는 점을 고려하면 5배가 넘는다. 

메타의 스카우트는 텍스트와 이미지를 동시 처리하는 멀티모달 설계로 다중 문서 요약, 대규모 코드 분석, 사용자 활동 패턴 분석에 특화됐다고 밝혔다. 매버릭의 경우 GPT-4o나 구글의 제미나이 2.0을 코딩, 추론, 다국어 처리에서 앞선다고 밝혔다.

현재 훈련 중인 비헤모스에는 "세계에서 가장 강력한 기초 모델"이라고 자평했다. GPT-4.5, 클로드 3.7 소넷, 제미나이 2.0 프로보다 수학 문제 해결 등 STEM 평가에서 우수하다고 밝혔다. 비헤모스는 훈련이 끝나는 대로 스카우트와 매버릭의 교사 역할을 맡게 된다. 
 
라마 4는 메타 최초로 MoE(Mixture of Experts) 방식을 도입했다. 이는 작업에 따라 모델의 특정 부분(전문가)을 선택적으로 활성화해 계산 효율성을 높이는 기술이다. GPT-4o와 달리 텍스트와 이미지를 통합 학습하고 추론한다.

메타는 라마 4를 오픈소스로 공개했다. 허깅페이스와 공식 홈페이지에서 비상업적 용도로 무료 배포되며 전 세계 개발자들이 자유롭게 맞춤형 에이전트 AI를 개발할 수 있게 된다. 

개발 비용도 크게 줄였다. 라마 4 매버릭 API를 활용한 개발 비용은 100만 입·출력 토큰당 19센트에서 49센트로 추정된다. GPT-4o의 4.38달러보다는 10배가량 저렴하다. 중국의 딥시크 V3.1의 48센트와 비슷한 수준이다.