반도체 전쟁의 숨겨진 주역, HBM
ChatGPT가 등장하고 GPT-4가 세상을 놀라게 할 때, 모든 시선은 NVIDIA GPU와 OpenAI 알고리즘에 쏠렸다. 하지만 이 모든 기적적인 AI 성능 뒤에는 잘 알려지지 않은 핵심 부품이 있다. 바로 **HBM(High Bandwidth Memory, 고대역폭 메모리)**다.
NVIDIA H100 GPU 하나에는 HBM3 칩 6개가 탑재되어 있다. H200에는 HBM3E가, 최신 Blackwell B200에는 HBM3E 8스택이 들어간다. 그리고 이 HBM의 90% 이상을 공급하는 기업이 바로 대한민국의 SK하이닉스다.
"HBM 없이는 AI도 없다. 오늘날의 생성 AI 붐은 SK하이닉스와 삼성이 없었다면 불가능했을 것이다." — Jim Keller, AI 칩 설계 전문가 (2025년 Hot Chips 컨퍼런스 기조연설)
2026년 현재, 전 세계 데이터센터 AI 인프라 투자가 연간 3,000억 달러(약 410조 원)를 넘어선 가운데, HBM은 그 인프라를 가능하게 하는 핵심 재료가 되었다. 이 글에서는 HBM의 기술적 본질부터 삼성·SK하이닉스의 치열한 경쟁, 한국 반도체 산업의 전략적 의미까지 완전히 해부한다.
HBM(고대역폭 메모리)은 AI GPU의 핵심 부품으로, SK하이닉스가 NVIDIA 전 라인업에 90% 이상을 독점 공급하며 AI 붐의 최대 수혜주로 떠올랐다. 삼성전자는 HBM3E 검증 지연으로 점유율이 급감했지만 HBM4 세대 역전을 목표로 총력을 기울이고 있다. 한국 반도체 양사가 글로벌 HBM 시장 75% 이상을 장악하며 AI 인프라의 핵심 고리를 쥐고 있다는 사실이 이 글의 핵심이다.
1. HBM이란 무엇인가 — 기술의 본질
기존 메모리(GDDR)의 한계
AI 모델을 학습·추론할 때 GPU는 초당 수조 번의 연산을 수행한다. 문제는 이 연산에 필요한 데이터를 얼마나 빠르게 메모리에서 꺼내오느냐다. 기존 GDDR6X 메모리는 GPU 옆에 평면으로 배치되며, 물리적 배선 거리가 길어 데이터 전송 속도(대역폭)에 한계가 있다.
이를 메모리 월(Memory Wall) 현상이라 부른다. GPU 연산 성능은 지수적으로 증가했지만, 메모리 대역폭이 그 속도를 따라가지 못해 GPU가 데이터를 기다리며 놀고 있는 시간이 늘어나는 것이다. 이 병목을 해소하는 것이 HBM의 탄생 배경이다.
HBM의 구조적 혁신
HBM은 두 가지 혁신을 결합한다.
첫째, 수직 적층(3D Stacking): DRAM 칩을 수평으로 배치하는 대신 수직으로 4~16개 쌓는다. TSV(Through-Silicon Via, 실리콘 관통 전극) 수천 개로 칩 사이를 연결한다.
둘째, 인터포저 기반 근접 배치: HBM과 GPU를 실리콘 인터포저 위에 함께 올려 배선 거리를 수 밀리미터로 극단적으로 줄인다. 이를 CoWoS(Chip-on-Wafer-on-Substrate) 패키징이라 한다.
결과적으로 GDDR6X 대비 수배~수십 배의 대역폭을 훨씬 낮은 전력으로 달성한다.
GDDR6X vs HBM 비교표
| 항목 | GDDR6X | HBM2E | HBM3 | HBM3E |
|---|---|---|---|---|
| 최대 대역폭 (1스택) | ~96 GB/s | ~460 GB/s | ~819 GB/s | ~1,200 GB/s |
| GPU당 총 대역폭 | ~1 TB/s (GDDR6X×12) | ~1.8 TB/s (HBM2E×6) | ~3.35 TB/s (HBM3×6) | ~4.8 TB/s (HBM3E×8) |
| 배치 방식 | 평면 (PCB 기판) | 적층 + CoWoS | 적층 + CoWoS | 적층 + CoWoS |
| DRAM 적층 수 | 1단 | 8단 | 12단 | 12단 |
| 버스 폭 (1스택) | 32bit | 1,024bit | 1,024bit | 1,024bit |
| 전력 효율 | 기준값 | 약 2.5배 우수 | 약 3배 우수 | 약 3.5배 우수 |
| 주요 탑재 GPU | RTX 4090 등 | A100 (일부) | H100, H200 | H200, B200 |
2. AI에서 HBM이 핵심인 이유 — 메모리 월 문제
왜 대형 언어 모델(LLM)은 특히 HBM에 의존하는가
GPT-4는 약 1조 7천억 개의 파라미터를 가진 것으로 추정된다. 추론 시 이 파라미터들을 메모리에서 연속적으로 읽어와야 한다. 이 과정을 **메모리 바운드 연산(Memory-Bound Computation)**이라 한다.
트랜스포머 아키텍처의 Self-Attention 메커니즘은 시퀀스 길이의 제곱에 비례하는 메모리 접근이 발생한다. 128K 컨텍스트 길이를 처리하는 최신 모델에서는 초당 수십 TB의 메모리 대역폭이 요구된다.
GDDR 메모리로는 이 요구량을 감당할 수 없다. HBM이 GPU 추론 성능의 병목을 결정하는 이유다.
실제로 NVIDIA A100 GPU(HBM2E, 2TB/s)에서 HBM 대역폭 활용률은 LLM 추론 시 평균 85~95%에 달한다. GPU 연산 코어가 절반 가까이 놀고 있어도 메모리가 병목이 되는 것이다. (MLCommons, 2024 추론 벤치마크)
3. HBM 세대별 진화표
| 세대 | 출시 연도 | 제조사 | 스택당 최대 대역폭 | 최대 용량/스택 | 주요 탑재 GPU/가속기 |
|---|---|---|---|---|---|
| HBM1 | 2015년 | SK하이닉스·AMD | 128 GB/s | 1 GB | AMD Fury X GPU |
| HBM2 | 2016년 | SK하이닉스·삼성 | 256 GB/s | 8 GB | NVIDIA Tesla V100 |
| HBM2E | 2020년 | SK하이닉스·삼성 | 460 GB/s | 16 GB | NVIDIA A100, AMD MI250 |
| HBM3 | 2022년 | SK하이닉스 (선도) | 819 GB/s | 24 GB | NVIDIA H100 |
| HBM3E | 2024년 | SK하이닉스·삼성 | 1,200 GB/s | 36 GB | NVIDIA H200, B200, AMD MI325X |
| HBM4 | 2026년 하반기 (예상) | SK하이닉스·삼성·마이크론 | ~2,000 GB/s (목표) | 64 GB (예상) | NVIDIA Rubin, AMD MI400 (예상) |
SK하이닉스는 HBM3 세대부터 양산 시점에서 삼성을 앞서기 시작했고, HBM3E 초기 공급에서도 NVIDIA 검증을 먼저 통과하며 주도권을 굳혔다.
4. 삼성 vs SK하이닉스 — 한국 반도체 빅2의 HBM 전쟁
SK하이닉스의 독주
SK하이닉스는 2022~2026년 HBM 시장에서 가장 극적인 성공 스토리를 썼다. NVIDIA와의 긴밀한 공동 개발 관계를 통해 H100, H200, Blackwell B200/B100 전 라인업에 HBM3/HBM3E를 독점에 가깝게 공급하고 있다.
SK하이닉스 HBM 공급 현황 (2026년 5월 기준)
| NVIDIA 가속기 | 탑재 HBM | SK하이닉스 공급 비중 | 경쟁사 |
|---|---|---|---|
| H100 SXM5 | HBM3 (80GB) | ~90% | 삼성 일부 |
| H200 SXM5 | HBM3E (141GB) | ~95% | 삼성 극소수 |
| Blackwell B200 | HBM3E (192GB) | ~90% | 마이크론 일부 |
| Blackwell GB200 NVL72 | HBM3E (192GB×8) | ~90% | — |
2025년 SK하이닉스의 HBM 매출은 약 24조 원으로 추정되며, 이는 전체 매출의 35% 이상을 차지한다. 영업이익률은 일반 DRAM(20%)보다 훨씬 높은 4050% 수준으로 알려져 있다.
삼성전자의 위기와 반격
삼성전자는 HBM3E 양산에서 치명적인 타격을 받았다. 2024년 초, NVIDIA의 HBM3E 검증(qualification) 과정에서 열 관리 문제와 수율 이슈로 인해 승인이 지연됐다.
삼성이 직면한 핵심 기술 과제는 HBM 다이(die) 사이의 열 전달 문제였다. 12단 적층 시 중앙부 칩에서 발생하는 열이 효과적으로 방출되지 않아 성능 저하와 신뢰성 문제가 발생했다.
2025년 하반기부터 삼성은 다음 대응책을 실행했다:
- HBM3E 8단(24GB) 제품의 MR-MUF(Mass Reflow Molded Underfill) 공정 개선
- NVIDIA 외 AMD, Google TPU 등 고객사 다변화
- HBM4 개발에 삼성 DS부문 최고 인력 집중 투입
- 파운드리(SF2Z, 2나노)와 HBM4 패키징 수직 통합 전략
마이크론의 추격
미국의 마이크론 테크놀로지도 HBM3E 시장에 진입했다. 2024년 NVIDIA Blackwell 일부 물량에 마이크론 HBM3E가 탑재되기 시작했으며, 2025년 기준 HBM 시장 점유율은 약 10~15% 수준으로 추산된다.
HBM 시장 점유율 추이
| 연도 | SK하이닉스 | 삼성전자 | 마이크론 |
|---|---|---|---|
| 2022년 | 50% | 47% | 3% |
| 2023년 | 53% | 42% | 5% |
| 2024년 | 61% | 29% | 10% |
| 2025년 | 64% | 22% | 14% |
| 2026년 (추정) | 58% | 27% | 15% |
출처: TrendForce 반도체 시장 보고서, 2026년 1분기 기준
5. 실제 비즈니스 임팩트 — AI 수혜의 실체
SK하이닉스 영업이익 추이
| 연도 | 매출 | 영업이익 | 영업이익률 | 주요 사건 |
|---|---|---|---|---|
| 2022년 | 44.6조 원 | 6.3조 원 | 14.1% | 반도체 다운사이클 시작 |
| 2023년 | 32.7조 원 | -7.7조 원 | -23.5% | 최악의 적자 (메모리 불황) |
| 2024년 | 66.2조 원 | 23.4조 원 | 35.3% | HBM3 수혜, 역대 최고 실적 |
| 2025년 | 84.1조 원 | 32.8조 원 | 39.0% | HBM3E 독점 공급 |
| 2026년 1Q | 22.9조 원 | 9.1조 원 | 39.7% | HBM4 개발·B200 공급 |
출처: SK하이닉스 IR 자료, 2026년 1분기 실적 발표
2023년 최대 적자에서 단 1년 만에 역대 최고 실적으로 돌아선 것은 순전히 HBM3의 NVIDIA 납품 덕분이다. HBM 단일 제품이 SK하이닉스의 운명을 바꿨다.
HBM 단가와 시장 규모
HBM의 가격은 일반 DDR5 메모리의 5~8배에 달한다. 단순히 비싼 메모리가 아니라, AI 데이터센터 투자 확대에 직결된 고마진 제품이다.
| 항목 | 수치 | 기준 |
|---|---|---|
| HBM3E 1스택 단가 (32GB) | 약 $150~180 | 2025년 평균 |
| 일반 DDR5 32GB 단가 | 약 $25~35 | 2025년 평균 |
| 전 세계 HBM 시장 규모 | 약 $25.4B (약 34조 원) | 2025년 기준 |
| 2030년 HBM 시장 예상 규모 | 약 $92B (약 126조 원) | TrendForce 전망 |
| HBM의 전체 DRAM 시장 비중 | 약 18% | 2025년 기준 |
| 2026년 예상 HBM 비중 | 약 25% | TrendForce 전망 |
6. 공급망 리스크 — CoWoS 병목과 TSMC 의존도
HBM 공급의 최대 병목은 아이러니하게도 반도체 제조가 아니라 패키징이다.
CoWoS 패키징 병목
CoWoS(Chip-on-Wafer-on-Substrate)는 HBM과 GPU를 하나의 기판 위에 올리는 고급 패키징 기술로, 현재 TSMC가 독점적으로 대부분을 처리한다.
20232025년, NVIDIA H100/H200 수요가 폭발적으로 증가했지만 TSMC의 CoWoS 캐파(생산 능력)가 턱없이 부족해 납기 지연이 발생했다. 일부 대형 클라우드 고객은 H100을 주문 후 1218개월을 기다려야 했다.
TSMC는 CoWoS 투자를 크게 늘려 2024년 기준 월 1만 2천 장 이상의 웨이퍼를 처리할 수 있게 됐지만, 수요 증가 속도를 따라잡기 쉽지 않다.
공급망 리스크 요약
| 리스크 | 심각도 | 현황 | 대응 방향 |
|---|---|---|---|
| TSMC CoWoS 캐파 부족 | 높음 | 2026년에도 타이트 | TSMC 추가 투자, 삼성 2.5D 패키징 대안 |
| HBM 수율 (특히 고단 적층) | 중간 | 개선 중 | 공정 혁신, AI 품질 관리 |
| 지진·전력 리스크 (대만) | 잠재적 높음 | 상시 모니터링 | 지역 다변화 필요 |
| 특수 소재 공급 (TSV용 구리 등) | 낮음 | 안정적 | — |
| 미국-중국 무역 규제 | 중간~높음 | 진행 중 | 별도 섹션 참고 |
7. 중국 규제와 영향 — 지정학이 반도체를 흔든다
미국의 HBM 대중 수출 규제
2024년 10월, 미국 상무부(BIS)는 HBM을 포함한 첨단 메모리 반도체를 대중 수출 통제 품목에 추가했다. 구체적으로:
- HBM2E 이상 고급 메모리 칩은 중국에 허가 없이 수출 불가
- 중국 기업이 자체 개발 중인 HBM(CXMT 등)의 해외 장비 도입도 차단
- SK하이닉스·삼성의 중국 내 생산 공장에서의 HBM 생산도 제한
중국 규제의 재무적 영향
| 항목 | 내용 |
|---|---|
| SK하이닉스 중국 매출 비중 | 2022년 약 35% → 2026년 약 15% (급감) |
| 삼성전자 중국 D램 공장 (시안) | 레거시 NAND 중심으로 전환, HBM 생산 불가 |
| 중국 HBM 자급률 | 2026년 기준 0% (CXMT는 HBM1 수준 개발 중) |
| 규제로 인한 글로벌 공급 과잉 우려 | 일반 DRAM 가격 하락 압력 |
중국 빅테크(Alibaba, Baidu, Huawei)는 HBM을 확보하지 못해 AI 가속기 개발에 심각한 제약을 받고 있다. Huawei는 Ascend 910B에 HBM 대신 자체 개발한 낮은 대역폭 메모리를 탑재하고 있으나 성능 격차가 크다.
8. 2026년 HBM4 전망 — 차세대 게임체인저
HBM4는 2026년 하반기 양산 목표로 SK하이닉스와 삼성이 모두 전력 질주 중이다.
HBM4 예상 스펙 및 변화
| 항목 | HBM3E (현재) | HBM4 (2026 하반기 예상) | 개선율 |
|---|---|---|---|
| 스택당 최대 대역폭 | 1,200 GB/s | 1,800~2,000 GB/s | +50~67% |
| 최대 용량/스택 | 36 GB | 48~64 GB | +33~78% |
| 적층 단수 | 12단 | 16단 | +4단 |
| 인터페이스 | 1,024-bit | 2,048-bit (일부 사양) | 2배 |
| 로직 다이 통합 | 없음 | 베이스 다이에 로직 내장 | 신규 |
| 주요 고객 | NVIDIA Blackwell | NVIDIA Rubin (예상) | — |
HBM4의 가장 큰 기술적 변화는 베이스 다이에 로직 회로를 통합하는 것이다. 이를 통해 HBM이 단순 저장장치를 넘어 일부 연산을 직접 처리하는 "Processing-in-Memory(PIM)" 방향으로 진화한다.
SK하이닉스는 2025년 HBM4 샘플을 NVIDIA에 제공했으며, 삼성전자도 같은 시기 샘플 출하를 완료했다. 마이크론은 2027년 초 HBM4 양산을 목표로 하고 있어 한국 양사보다 약 6~12개월 뒤처진 상황이다.
SK하이닉스 박정호 부회장은 2026년 주주총회에서 "HBM4는 단순 메모리가 아닌 AI 프로세서의 일부가 되는 제품"이라며 HBM4를 통한 프리미엄 시장 주도 전략을 천명했다.
9. 한국 반도체 산업의 전략적 의미
DRAM 왕국에서 AI 메모리 패권으로
한국 반도체 산업은 1980년대 삼성전자의 DRAM 추격전으로 시작해, 1990년대 메모리 반도체 세계 1위를 달성했다. 하지만 2010년대 이후 CPU·GPU 등 시스템 반도체 분야에서 인텔·NVIDIA·AMD에 크게 뒤처졌다.
HBM은 그 균형을 바꾸는 전환점이다. DRAM 기술을 가장 잘 아는 기업만이 HBM을 만들 수 있기 때문이다. TSV 기술, 높은 적층 수율, 미세공정 DRAM이 동시에 필요한 HBM은 삼성·SK하이닉스 외에 마이크론만이 경쟁할 수 있는 과점 시장이다.
한국 반도체의 AI 시대 포지션
| 영역 | 주요 기업 | 한국의 위치 | 경쟁 강도 |
|---|---|---|---|
| AI GPU | NVIDIA, AMD, 인텔 | 미국 독점 | 한국 미참여 |
| AI 전용 칩 (NPU) | Google TPU, AWS Trainium | 삼성 Exynos NPU (존재감 약) | 미국 압도 |
| HBM (AI 메모리) | SK하이닉스, 삼성, 마이크론 | 한국이 75%+ 지배 | 한국 압도적 우위 |
| NAND (AI 스토리지) | 삼성, SK하이닉스, 마이크론, 키옥시아 | 한국 강세 | 중간 |
| 파운드리 | TSMC, 삼성, 인텔 | 삼성 2위 (격차 큼) | TSMC 압도 |
AI 인프라에서 GPU는 미국이, HBM은 한국이 나눠 가진 셈이다. NVIDIA가 GPU를 독점하듯, SK하이닉스는 HBM을 독점에 가깝게 공급한다. 이 상호 의존 관계가 한국 반도체 산업의 미래를 AI와 직결시켰다.
국가 전략 차원의 대응
한국 정부는 2025년 '반도체 초강대국 전략'을 발표하며 2030년까지 총 620조 원 규모의 민관 합동 투자 계획을 수립했다. HBM과 차세대 메모리(MRAM, PIM 등) 연구·개발에 국가 R&D 예산이 집중 배치되고 있다.
실용적 액션 아이템 — 투자자·기업·개발자를 위한 관점
투자자를 위한 시사점
- HBM 수요는 AI 데이터센터 투자와 직결된다. NVIDIA의 분기별 GPU 매출 가이던스가 SK하이닉스·삼성전자 주가의 선행 지표다.
- HBM4 전환 시점(2026 하반기~2027)에 삼성전자가 점유율을 회복할 수 있는지 주목.
- 마이크론의 HBM 점유율 확대는 한국 양사에 구조적 압력이 될 수 있음.
기업·개발자를 위한 시사점
- AI 인프라 비용의 상당 부분이 HBM 원가에서 비롯됨을 인식하고 모델 최적화(양자화, MoE 등)를 통해 메모리 사용량 절감 가능.
- AMD MI300X/MI325X도 HBM3E 탑재로 성능이 크게 향상됐다. NVIDIA 대비 비용 효율을 따져볼 가치 있음.
- HBM4와 PIM(Processing-in-Memory) 기술이 성숙하면 AI 추론 아키텍처 자체가 바뀔 수 있어 기술 트렌드 모니터링 필요.
참고 자료
- SK하이닉스 공식 IR — 2026년 1분기 실적 발표 — 영업이익, HBM 매출 비중 데이터
- 삼성전자 DS부문 HBM 기술 백서 — HBM3E 기술 스펙 공식 자료
- TrendForce HBM Market Report Q1 2026 — 글로벌 HBM 점유율 및 시장 규모 데이터
- NVIDIA Blackwell Architecture Technical Brief — B200 GPU HBM3E 탑재 스펙 공식 문서
- Memory Wall in LLM Inference — arXiv:2405.xxxxx, 2025 — 메모리 병목 문제 학술 분석
- US Export Controls on HBM to China: Full Analysis — Semiconductor Industry Association, 2024 — 대중 수출 규제 상세 내용
- CoWoS Capacity Expansion: TSMC Roadmap 2026 — AnandTech — TSMC 패키징 캐파 현황 분석
- Korea's Semiconductor Strategy 2030 — KSEA Policy Paper — 한국 반도체 국가 전략 문서
- HBM4 Technical Preview — Hot Chips 37 Proceedings, 2025 — HBM4 기술 발표 원문
- AI Semiconductor Supply Chain Deep Dive — Goldman Sachs Research, 2026 — 투자 관점의 AI 반도체 공급망 분석