HBM

박상길 디노티시아 LLM 팀장·'비전공자도 이해할 수 있는 챗GPT' 저자

요즘 챗GPT·제미나이처럼 사람과 대화하는 인공지능(AI)이 큰 인기를 끌고 있어요. 질문을 입력하면 마치 사람처럼 술술 답을 적어 내려가지요. 그런데 이 똑똑한 AI가 단어 하나를 만들어 내기 위해 얼마나 많은 데이터를 읽어 들이는지 알면 깜짝 놀랄 거예요. 무려 영화 25편 분량이랍니다. 어떻게 이런 일이 가능할까요?

컴퓨터에서 메모리는 데이터를 잠깐 저장해 두는 공간이에요. 우리가 책을 읽을 때 책상 위에 책을 펼쳐 두는 것과 비슷해요. 그런데 인공지능은 한꺼번에 어마어마하게 많은 책을 펼쳐 봐야 합니다. 일반 책상(메모리)은 금방 책으로 꽉 찰 거예요. 이 문제를 해결한 비밀이 바로 ‘HBM(High Bandwidth Memory)’이라는 특별한 메모리 반도체에 숨어 있어요.

일러스트=송윤혜

챗GPT가 단어 하나를 출력하기 위해 읽어 들이는 데이터는 약 350기가바이트(GB)라고 알려져 있어요. 2시간짜리 고화질 영화 한 편이 약 14GB 정도이니, 단어 하나를 말하기 위해 영화 25편 분량의 데이터를 단숨에 읽어들이는 셈이지요. 더 놀라운 건 챗GPT가 한 번 대화할 때 보통 500단어 정도를 출력한다는 점이에요. 그러면 영화 1만 2500편 분량의 데이터를 계속해서 읽어들이는 것과 같답니다.

이렇게 엄청난 양의 데이터를 매번 빠르게 읽어들이려면, 메모리도 보통보다 훨씬 더 빨라야겠지요? 그래서 등장한 것이 바로 HBM이에요. HBM은 우리말로 고대역폭 메모리라고 해요. 대역폭이라는 말이 어렵게 느껴질 텐데요. 데이터가 다니는 길의 폭, 즉 ‘넓이’라고 생각하면 쉽답니다.

도로를 떠올려 볼까요? 차선이 1개인 좁은 도로에서는 한 번에 차 1대만 지나갈 수 있어요. 하지만 차선이 8개인 넓은 고속도로라면 한 번에 차 8대가 동시에 지나갈 수 있어요. HBM은 바로 이렇게 차선을 아주 많이 늘려, 데이터를 한꺼번에 잔뜩 보낼 수 있게 만든 메모리 반도체예요.

또 다른 비밀은 메모리를 쌓아 올렸다는 점이에요. 우리가 평소 쓰는 메모리는 얇은 판 한 장이 컴퓨터 안에 평평하게 누워 있어요. 반면 HBM은 그 판을 아파트처럼 위로 보통 8·12층씩 쌓아 올린 모양이랍니다. 아파트 층마다 엘리베이터가 오르내리는 것처럼 위아래 층이 촘촘히 연결돼 있어, 같은 자리에서 훨씬 더 많은 데이터를 동시에 주고받을 수 있어요.

인공지능 계산에는 그래픽 처리 장치(GPU)라는 특별한 칩이 쓰여요. GPU는 원래 게임 화면처럼 복잡한 그림을 빠르게 그리기 위해 만들어졌는데, 한꺼번에 수많은 계산을 동시에 처리할 수 있어서 인공지능 계산에도 안성맞춤이지요. 그런데 GPU가 아무리 빨라도, 옆에 붙은 메모리가 데이터를 제때 보내 주지 못하면 소용이 없어요.

그래서 요즘 인공지능에 쓰이는 최신 GPU에는 거의 모두 HBM이 함께 들어간답니다. 전 세계 HBM 시장의 대부분은 SK하이닉스와 삼성전자 등 한국 기업이 차지하고 있어, 인공지능 시대의 숨은 주인공이라고 불려요. 특히 SK하이닉스는 HBM을 세계 최초로 개발한 기업이기도 하지요. 우리가 매일 쓰는 챗GPT 한 줄 한 줄 뒤에, 한국에서 만든 작은 반도체가 묵묵히 일하고 있다는 사실, 정말 멋지지 않나요?

출처: 조선일보(2026.06.04.)