[강기자의 기술 돋보기] AI를 실행하는데 왜 GPU가 필요하죠?

알면 좋고 몰라도 그만인 AI·반도체 잡지식

생성 인공지능 시대에 가장 많은 돈을 번 사람. 젠슨 황 엔비디아 최고경영자(CEO). [사진=AFP·연합뉴스]

서부개척시대 골드러시에서 금을 찾아다닌 광부 대신 곡괭이와 입을 옷(청바지)을 판 상인이 돈을 벌었듯이 챗GPT로 촉발된 전 세계적인 생성 인공지능(AI) 열풍에서도 생성 AI 서비스 기업보다 생성 AI 학습·추론(실행)에 필요한 AI 반도체를 만드는 회사가 돈을 벌고 있습니다. 바로 엔비디아의 얘기죠.

과거에도 제법 큰 팹리스(반도체 설계회사)였지만, 삼성전자·인텔과 같은 종합반도체회사(IDM)나 TSMC 같은 대형 파운드리(위탁생산)보다 규모가 작았던 엔비디아는 생성 AI 학습·추론에 필요한 GPU(그래픽처리장치)를 사실상 독점 공급하면서 영업이익이 전년보다 8배 가까이 급성장했습니다. 

급기야는 마이크로소프트·애플 등과 전 세계 시가총액 1위 자리를 겨룰 정도로 회사 규모가 커졌습니다.

엔비디아의 GPU에는 어떤 특별한 비밀이 있는 걸까요? 왜 생성 AI 학습·추론에 GPU가 필요한 걸까요? 최대한 쉽고 간단하게 설명드리도록 하겠습니다.

◆CPU와 GPU의 차이점?

과거 앱과 프로그램은 CPU(중앙처리장치)에서 실행됐습니다. 사실 지금도 마찬가지죠. 일반적인 앱과 프로그램 실행에는 여전히 CPU의 성능이 절대적인 영향을 미칩니다.

하지만 CPU의 성능만으로는 감당할 수 없는 영역이 하나 있습니다. 바로 게임 등에 널리 활용되는 3D(3차원) 그래픽 출력입니다. 

2D 그래픽 출력까지는 CPU의 성능만으로는 충분했지만, 대규모 연산을 빠르게 처리해야 하는 3D 그래픽 출력은 CPU의 성능만으로는 처리하기 힘들었죠.

1990년대 중반에 들어 고사양 3D 게임이 속속 등장하면서 이러한 경향은 더욱 심해졌습니다. 때문에 3D 게임 출력에 적합한 컴퓨터 하드웨어가 새로 등장했습니다. 바로 GPU입니다.

엔비디아도 이때 생겨났죠. 대만계 반도체 엔지니어였던 젠슨 황과 썬마이크로시스템즈 출신 반도체 엔지니어인 크리스 말라코위스키, 커티스 프리엠 등 세 명이 의기투합해서 GPU를 만드는 회사를 창업했습니다. 이후 엔비디아는 3Dfx, ATI 등과 GPU 시장을 놓고 경쟁하며 사세를 키워나갔습니다.

여담으로 3Dfx는 추후 엔비디아에 인수·합병됐고, ATI는 AMD에 인수·합병됐습니다. 그래서 현재 소비자용 GPU 시장은 엔비디아와 AMD가 양분하고 있습니다.

◆그런데 GPU와 AI가 무슨 상관인가요?

그럼 이제 궁금한 점이 생길 겁니다. 3D 그래픽 출력과 AI가 무슨 관계가 있다고 AI 학습·추론에 GPU가 필요한 걸까요. 

이걸 이해하려면 CPU와 GPU의 구조적 차이를 알아야 합니다. 어려운 용어를 빼고 쉽게 말씀드리겠습니다.

건물을 하나 지어야 한다고 가정해 보죠.

CPU는 똑똑한 공학박사가 4명에서 12명(고성능 CPU는 32명에서 64명까지) 정도 모여있는 구조입니다. 이들한테 건물을 지으라고 명령하면 머리를 맞대 건물 구조를 설계하고 이를 바탕으로 건물을 '언젠가는' 만들 수 있습니다. 하지만 느리죠. 4명에서 12명이 기초공사를 하고 기둥을 세우고 벽을 붙이고 창문을 만들고 하면…음 한 10년 정도면 건물을 하나 만들 수 있겠네요.

대단히 비효율적인 명령입니다. 공학박사는 박사답게 건물을 설계하고 이렇게 지으라고 지시하는 역할만 하면 됩니다. 일을 할 사람들은 다른 곳에서 데려오는 게 맞죠.

이렇게 건물을 지을 사람들이 엄청나게 모여있는 곳이 GPU입니다. 단순노동에 특화된 인력 수만명이 모여있습니다. 이들이 아무리 모여봤자 건물을 지을 수는 없습니다. 건물을 설계하고 어떻게 일해야 하는지 모르기 때문입니다. 

하지만 공학박사(CPU)가 지시하면 이에 맞춰서 척척 일하며 엄청나게 빠르게 건물을 지을 수 있습니다. CPU 혼자 일할 때보다 수백배에서 수만배 빠르죠.

건물이 바로 3D 그래픽 출력입니다. 

그런데 3D 그래픽 출력 외에도 이 CPU·GPU 협업구조가 그대로 적용되는 컴퓨팅 분야가 몇 가지 더 있습니다. 대표적인 게 AI 모델을 구현하는 데 필수인 기계학습(머신러닝)입니다. 

CPU로도 기계학습을 할 수는 있지만, GPU의 도움이 없으면 엄청나게 느립니다. 사실상 GPU가 필수나 다름없죠. AI 시대를 맞이해 GPU가 주목받는 이유입니다.
 

젠슨 황 엔비디아 CEO가 차세대 데이터센터 GPU '블랙웰'을 소개하고 있다. [사진=로이터·연합뉴스]

◆GPU는 AI 처리에 최적화되지 않았다?

언론 등에서 흔히 하는 말 가운데 하나가 엔비디아 GPU는 원래 게임 등 3D 그래픽 출력에 최적화된 반도체라 AI 학습·추론에는 비효율적인 부분이 있다는 것입니다.

반은 맞고 반은 틀립니다.

일단 엔비디아가 AI 추론·학습용으로 기업 등에 공급하는 A100(암페어), H100(호퍼), B100(블랙웰) 등 '데이터센터 GPU'는 3D 그래픽 출력 기능이 없습니다. GPU가 붙어 있는 그래픽카드 뒤를 보면 그래픽 출력을 위한 HDMI·DP 단자 등이 있는데, 데이터센터 GPU에는 이게 없죠.

데이터센터 GPU는 이름만 GPU이지 사실은 AI 학습·추론에 최적화한 하드웨어입니다.

AI 서버에 탑재한 CPU가 AI 학습·추론을 위해 명령을 하면 데이터센터 GPU 안의 처리장지와 HBM(고대역폭 메모리) D램이 데이터를 빠르게 주고받으며 AI를 구현합니다.

데이터센터 GPU는 AI 모델을 빠르게 학습·추론하기 위한 다양한 특화기능도 갖추고 있습니다. 대표적인 사례로 생성 AI의 근간인 트랜스포머 기술을 빠르게 처리하는 '트랜스포머 엔진(FP8 특화 연산기)'과 매개변수(파라미터)가 1조(1000B)개가 넘는 초거대 AI를 학습·추론하기 위한 데이터센터 GPU 간 초고속 연결 기술인 'NV링크' 등을 들 수 있습니다.

그런데 이게 A100, H100 등 고가 데이터센터 GPU 말고 중저가 데이터센터 GPU(L 시리즈)로 내려오면 얘기가 좀 다릅니다.

L 시리즈 제품 구조를 보면 AI 학습·추론과 별 관계 없는 광선추적 처리장치(레이트레이싱 코어)나 동영상 가속기 등이 들어있습니다. 동영상 가속기는 AI 모델의 한 분야인 컴퓨터 비전(시각지능)에 활용할 여지가 있지만, 광선추적 처리장치는 빼도 박도 못하는 3D 게임용 기능이죠.

이는 엔비디아가 중저가 데이터센터 GPU는 제품 연구개발에 필요한 비용을 최대한 아끼고자 기존 소비자용 GPU(지포스 시리즈) 등에 사용된 처리장치와 GDDR(그래픽 메모리) D램 등을 그대로 활용하고 있기 때문에 생긴 일입니다. 소비자용 GPU에 처리장치 규모를 좀 키우고 AI 추론에 특화한 기능을 추가해서 출시한 제품이죠. 

정리하자면 A100, H100 등 고가 데이터센터 GPU는 전 세계 그 어떤 AI칩보다도 AI 학습·추론에 특화한 하드웨어입니다. 반면 중저가 데이터센터 GPU는 엔비디아의 원가절감 정책에 맞춰 소비자용 GPU와 비슷한 구조로 되어 있습니다. 비효율적인 부분이 분명 있죠.

그래서인지 대부분의 AI칩 팹리스들은 성능 격차가 큰 H100 등을 타깃으로 하기보다는 L 시리즈를 대체할 수 있는 효율적인 추론용 AI칩 개발에 집중하고 있습니다. 현재 H100 등을 직접적으로 겨냥한 학습·추론용 AI칩을 개발한 업체는 오랫동안 반도체 설계에 집중해 온 인텔·AMD와 아마존웹서비스 등 대형 클라우드업체(CSP)뿐입니다. 아마존웹서비스도 사실 이스라엘의 AI칩 팹리스를 인수해서 학습·추론용 AI칩을 만들었습니다.

◆왜 그래픽 출력도 못 하는데 이름이 GPU예요?

오늘 기사의 마지막 부분이네요. 긴 글 읽느라 고생 많으셨습니다. 

그러면 왜 엔비디아는 3D 그래픽 출력 능력도 없는 데이터센터 GPU에 'GPU'라는 이름을 붙여 사람들을 헷갈리게 하는 걸까요.

이에 대해 엔비디아가 명확히 설명한 적은 없지만, 업계에선 엔비디아가 GPU라는 이름을 처음 사용한 업체로서 자부심을 가진 것을 이유로 꼽습니다. 이른바 '원조 맛집'이라는 거죠.

과거 컴퓨터에는 GPU라는 부품이 없었습니다. 2D 그래픽 출력을 처리하는 장치는 메인보드에 통합되어 있거나 있더라도 작은 부속품에 불과했습니다. 이름도 사실 VGA(비디오 가속) 카드였죠. 컴퓨터의 원형을 제시한 IBM이 붙인 이름입니다.

이때 젠슨 황 엔비디아 CEO가 자사 제품에 CPU에 버금간다는 의미에서 GPU라는 이름을 붙였습니다. 그래서 엔비디아가 GPU라는 이름을 포기 못 하는 거죠. 내(젠슨 황)가 만든 단어니까요.

그러더니 지금은 그래픽과는 별 관련 없는 AI칩에도 GPU라는 이름을 붙이고 있습니다. 지금이야 데이터센터 GPU라는 이름이지만 예전에는 GPGPU(일반 목적용 그래픽처리장치)라고 부르는 기행을 펼치기도 했습니다.

그러면 외국에선 AI 모델 학습·추론에 특화한 반도체를 어떤 이름으로 부르고 있을까요? 가장 많이 사용되는 이름은 AI칩입니다. AI 가속기도 제법 많이 사용되고 있죠. 최근에는 신경망처리장치(NPU)라는 이름도 대안으로 떠오르고 있습니다. 과학기술정보통신부 등 한국 정부에선 AI 반도체라는 이름을 밀고 있습니다. 그래도 시장을 독점하고 있는 엔비디아 때문에 학습·추론용 AI칩을 GPU라고 부르는 게 당분간 계속될 듯하네요.

마감에 쫓겨서 오늘 글은 여기서 마칩니다. 다음에도 알면 좋고 몰라도 그만인 AI·반도체 관련 지식으로 찾아뵙겠습니다.