[조성준의 스케치] 엔비디아 GPU 사면서 자체칩도 만든다…빅테크의 '투트랙' 전략

오픈AI 자체칩 성능 공개…엔비디아 GPU와 정면 비교

구글·아마존·메타·MS도 자체칩 병행…맞춤형 반도체 확산

오픈AI [사진=연합뉴스]

인공지능(AI) 시장의 '엔비디아 독주'가 이어지는 가운데 빅테크들이 엔비디아의 그래픽처리장치(GPU)를 대규모로 구매하면서 동시에 자체 AI칩 개발에도 속도를 내고 있다. 엔비디아 칩은 계속 공수하면서도 연산 특성에 맞는 칩을 직접 확보해 비용과 전력 효율을 높이려는 움직임으로 풀이된다. 

27일 업계에 따르면 오픈AI는 지난 25일(현지시간) 자체 개발한 AI 추론칩 '할라페뇨'의 첫 성능 측정 결과를 공개했다. 오픈AI는 할라페뇨가 엔비디아 GB200과 GB300을 대상으로 한 비교에서 전력당 처리량과 응답 지연시간 모두 앞섰다고 밝혔다. 공개된 모델을 대상으로 한 테스트에서 할라페뇨의 전력당 처리량은 비교 시스템보다 1.5~1.9배 높았고 응답 지연시간은 1.7~3.6배 낮았다는 게 오픈AI 측 설명이다. 다만 자체 평가 결과라는 점에서 실제 경쟁력은 향후 상용 환경에서 검증될 필요가 있다.

오픈AI는 할라페뇨를 올해 말부터 자체 컴퓨팅 인프라에 배치할 계획이다. 동시에 엔비디아를 비롯한 외부 가속기도 학습과 추론에 계속 활용하겠다고 밝혔다. 자체칩이 엔비디아 GPU를 대체하는 방식이 아니라 용도에 따라 여러 가속기를 함께 사용하는 구조다.

빅테크의 자체칩 개발은 오픈AI만의 움직임이 아니다. 구글은 자체 AI 가속기 TPU를 개발해 데이터센터에 활용하고 있다. 아마존은 트레이니움과 인퍼렌시아를 개발하면서 엔비디아 GPU도 클라우드 서비스에서 제공한다. 메타는 자체 AI칩 MTIA를 확대하면서 엔비디아와 AMD 등 외부 칩도 함께 조달하고 있다. 마이크로소프트 역시 자체 AI 가속기 마이아와 외부 GPU를 병행하는 전략을 취하고 있다.

이들이 자체칩을 개발하는 가장 큰 이유 중 하나는 AI 추론 비용이다. AI 서비스 이용자가 늘면서 학습뿐 아니라 추론에 필요한 연산량도 급증하고 있다. 범용 GPU는 다양한 연산을 처리할 수 있지만 모든 작업에 동일한 수준의 성능과 전력 효율을 제공하는 것은 아니다. 자체 서비스에 맞춘 칩을 설계하면 반복적인 연산을 더 적은 전력으로 처리할 여지가 있다는 분석이 나온다.

특히 추론은 자체칩의 효율성이 부각될 수 있는 영역으로 꼽힌다. 학습에는 다양한 모델과 연산을 처리할 수 있는 범용성이 중요하다. 반면 추론은 이미 학습된 모델을 반복적으로 실행하는 작업이어서 특정 모델과 서비스에 맞춘 최적화가 가능하다. 오픈AI가 할라페뇨를 추론용 칩으로 개발한 것도 이런 배경으로 풀이된다.

자체칩 확대가 엔비디아 GPU 수요 감소로 직결되는 것은 아니다. 오히려 AI 연산 수요 자체가 빠르게 늘면서 빅테크들이 외부 GPU와 자체칩을 함께 확보하는 구조가 만들어지고 있다. 엔비디아도 자체칩을 개발하는 오픈AI와 협력을 이어가고 있다. 엔비디아는 26일 실적 발표에서 데이터센터 매출이 전년 동기보다 117% 증가한 890억달러를 기록했다고 밝혔다.

다만 자체칩이 늘어나면 AI 반도체 시장의 경쟁 방식은 달라질 수 있다. 지금까지는 엔비디아와 AMD 같은 가속기 업체가 칩 설계를 주도하고 빅테크가 이를 구매하는 구조가 중심이었다. 앞으로는 빅테크가 직접 칩의 구조와 성능을 설계하고 반도체 업체와 협력해 생산하는 사례가 늘어날 수 있다.

이 과정에서 반도체 업계의 고객 구조도 달라질 가능성이 있다. 자체 AI칩에도 고대역폭메모리(HBM)와 첨단 패키징 등 고성능 반도체가 필요하기 때문이다. 실제 오픈AI의 할라페뇨에는 HBM4가 사용되는 것으로 알려졌다. 자체 AI칩을 개발하는 기업이 늘면 엔비디아와 AMD 같은 가속기 업체 외에 빅테크 자체칩도 고성능 메모리의 새로운 수요처가 될 수 있다는 기대도 더욱 커질 것으로 관측된다.