▲AI가속기의 구조. 가운데 검은색이 AI로직 칩, 양쪽에 있는 것이 HBM입니다.
AMAT 유튜브 동영상
그럼, 엔비디아의 AI가속기는 어떻게 생겼을까요? 복잡한 부품이 많이 들어가긴 하지만 최대한 단순화시킨다면 연산을 담당하는 AI로직 칩, 연산을 위한 데이터를 보관하는 메모리, 그 사이를 이어주는 기판, 이렇게 셋으로 구분해 볼 수 있습니다.
AI로직 칩은 AI가속기의 핵심으로 병렬연산이 이뤄지는 부분입니다. 미국의 엔비디아가 설계하고 대만의 TSMC가 제작합니다. 이처럼 설계만 담당하는 회사를 팹리스라고 부르고, 외주제작을 하는 회사를 파운드리라고 합니다. 삼성전자는 현재 파운드리 시장 점유율이 세계 2위지만, 엔비디아나 AMD로부터 AI로직 칩의 제작 주문을 받지는 못한 상태입니다.
AI로직 칩이 처리할 데이터는 메모리에 저장이 됩니다. AI로직 칩 바로 옆에서 데이터를 보관하고 있다가 연산이 시작되면 바로 전달하는 역할입니다. 예전에는 GPU용 반도체인 GDDR D램이 주로 쓰였지만, 지금은 데이터 전송 속도가 훨씬 빠른 HBM(High Bandwidth Memory: 고대역폭 메모리)을 사용합니다.
HBM은 우리 기업들도 관련되어 있으니까 조금 더 자세히 살펴보겠습니다. HBM보다 먼저 쓰였던 GDDR D램은 외부로 정보를 전달하는 I/O(Input/Output) 핀이 32개입니다. 그런 2GB 용량의 GDDR D램을 AI로직 칩 옆에 12개를 붙여 놓아도 전체 용량은 24GB로 AI로직 칩의 처리 속도에 비해 양도 적고 속도도 아쉬웠습니다.
HBM은 메모리를 수직으로 겹쳐 쌓은 뒤 1024개의 구멍을 뚫어서 신호를 주고받게 설계한 겁니다. 신호를 주고받는 I/O가 32배나 더 많은데, 그걸 12개를 겹쳐 놓으니 HBM 하나의 용량은 24GB로 이미 GDDR D램 12개와 같아집니다. HBM은 AI로직 반도체 옆으로 4개를 붙입니다. HBM은 I/O당 전송속도가 떨어지긴 하지만 그 수가 32배나 더 많으니 전체적인 속도는 훨씬 빠를 뿐만 아니라, 용량은 12배나 더 많으니 AI가속기 제작 업체들은 너나 할 것 없이 HBM을 주문하고 있습니다.
HBM에 단점이 없는 건 아닙니다. 칩에 1024개의 구멍을 뚫어 배선을 하고 그 아래 배선과 이어야 하기 때문에 정밀한 작업이 필요합니다. 제품에 따라 여덟 개에서 열두 개까지 위로 쌓아서 정밀한 작업을 해야 하기 때문 불량률이 높습니다. 열 개 만들면 대략 여섯 개 정도만 쓸 수 있습니다. 이걸 수율이라고 부르는데, 얼마 전 SK하이닉스는 수율이 80% 정도 된다고 스스로 밝혀서 업계를 깜짝 놀라게 하기도 했습니다.
대신 속도가 빠르고 용량이 크기 때문에 GDDR D램에 비해 비싼 가격에 팔 수가 있어서 SK하이닉스와 삼성전자, 마이크론 등 메모리 3사는 기존 메모리 생산라인을 HBM 생산라인으로 바꿔가며 생산량을 늘리는 중입니다.
SK하이닉스는 HBM을 최초로 개발한 회사이며 지금도 시장의 절반 이상을 차지하고 있습니다. 삼성전자 역시 HBM을 생산하고 있으나 최대 고객사인 엔비디아에는 아직 공급하지 못하고 있습니다. 현재 4세대 제품인 HBM3가 주로 사용되고 있고, 5세대 제품인 HBM3E는 올해 본격적으로 보급이 될 예정입니다. SK하이닉스는 내년에 나올 6세대 제품인 HMB4부터 TSMC와 협력하겠다고 발표하기도 했습니다.
그다음은 AI로직 반도체와 HBM을 이어주는 기판입니다. 예전에는 유기기판 하나로 신호 전달과 프레임 역할을 모두 했으나 주고받는 신호가 많아지면서 인터포저(Interposer)라고 부르는 또 다른 기판을 하나 더 추가해서 사용하고 있습니다. 인터포저는 AI로직 반도체와 HBM 사이에 신호를 전달하는 통로이며 처리가 완료된 신호를 유기기판으로 내보내는 중간 역할도 합니다. 인터포저 아래의 유기기판은 칩들을 올려놓는 프레임 역할과 외부로의 신호 전달을 담당합니다.
인터포저는 일반적으로 실리콘으로 제작했으나 보다 크게 만들 수 있고 안정적인 '유리' 기판을 도입하려는 시도가 이어지고 있습니다. 미국 상무부가 반도체 소부장업체 최초로 지원금을 지급한 엡솔릭스가 바로 유리기판 제조사인데 한국 SKC의 자회사입니다. 유리기판을 제작하는 장비나 HBM을 조립하는 장비들도 우리나라 반도체 장비회사들이 잘 만듭니다. 우리나라 반도체 회사들이 메모리 반도체만 잘 만드는 게 아니라 이처럼 소재, 부품, 장비 분야에서도 큰 역할을 하고 있습니다.
우리 언론과 외신은 왜 다른 이야기를 하나
끝으로 반도체 관련 우리 언론의 보도에 대해 한가지 대통령님에게 주의 사항을 전하겠습니다. AI가속기 시장은 엔비디아가 독점에 가까운 지배력을 보이고 있으며 AMD와 인텔이 독자 제품을 내놓고 시장의 반응을 기대하고 있는 수준입니다. 인텔은 독자적으로 웨이퍼 팹을 운영하고 있으니, 한국과 대만의 반도체 기업들은 엔비디아와 AMD로부터 수주를 받느냐 아니냐가 가장 중요합니다. 우리 언론들도 관련 보도를 많이 내놓고 있습니다.
그런데 우리 언론 보도만 보면 삼성전자는 엔비디아에 HBM을 작년부터 공급을 시작했고, 올해는 AMD의 최첨단 AI가속기를 파운드리 생산하는 게 기정사실인 것처럼 되어 있습니다. 기사 제목 몇 개를 보겠습니다.