HBM

HBM (High Bandwidth Memory) 

2013년에 발표된 적층형 메모리 규격

 

GDDR5 Vs. HBM

 

기존 GDDR 계열의 SGRAM을 대체하고 보다 고대역폭의 메모리를 성능을 달성하기 위해 제안된 구조로써 2013년 JEDEC(Joint Electron Device Engineering Council) 의 채택됨. 

메모리 다이를 적층하여 실리콘을 관통하는 TSV 를 통해 주 프로세서와 통신한다는 것이 주된 차이점이다. 

2014년에 AMD 와 하이닉스가 협력하여 HBM 개발에 성공하면서, 이후 본격적인 HBM 을 활용한 제품이 나오게 되었다. 

 

2. 규격 

JEDEC 표준 규격 

규격	총 채널 구성과 스택당 다이 구성	스택당 최대 용량	스택당 버스 폭	전압	클럭 (비트레이트)	채널당 I/O 데이터 전송률	스택당 대역폭	개발	표준화	적용
HBM	8 채널 × 128-bit × 4-Hi	4 GB	1024-bit	1.3 V	500 MHz (1 Gbps)	1 GT/s	128 GB/s	2013년	2013년	2015년
HBM2	8 채널 × 128-bit × 8-Hi	8 GB	1024-bit	1.2 V	1000 MHz (2 Gbps)	2 GT/s	256 GB/s	2015년	2016년	2016년
HBM2E	8 채널 × 128-bit × 12-Hi	24 GB	1024-bit	1.2 V	1200 MHz (2.4 Gbps)	2.5 GT/s	307 GB/s	2019년	2018년	2020년
HBM3	16 채널 × 64-bit × 16-Hi	64 GB	1024-bit	1.1 V	3200 MHz (6.4 Gbps)	6.4 GT/s	819 GB/s	2021년	2022년	2023년
HBM3E								2023년	(미정)	(미정)

 

3. 역사 

한때 GDDR에 비해서 우세하지 못한 성능으로 인혜 계륵 취급을 받기도 함. 초기 HBM 1세대의 경우 HBM 4개 (4096bit)을 배치해야 하였고, GDDR 12개 (384bit) 을 배치한 것을 비교하면, 대역폭 및 용량차이가 그리 크지 않은데, 메모리 가격 차이가 커서 계륵 취급을 받음. 한판으로 그래픽 메모리를 대용량으로 할 게임도 없었고, 대학 또는 기업의 인공지능 랩에서나 쓰이는 정도라 일반 GDDR 대비 수요가 적었음. 이런 이유로 Samsung Memeory 에서 시장성이 없다고하여 사업을 철수한 적도 있음. 

성능 개선이 되면서, GDDR 과 HBM 의 기술격차가 크게 벌어지는 상황임. 특히 GDDR 의 경우 구조적 한계로 개선이 더딘반면 HBM은 메모리 다이만 잘 쌓으면 용량과 대역폭이 배로 증가하여, 기술발전이 빠름.

또한 인공지능에 대한 수요가 급증하여 HBM 시장 사용이 강제되는 것도 HBM 의 우세 이유이다. (용량 및 큰 대역폭으로 처리 속도가 중요해짐. ) 

2020년 HBM2E 가 삼성전자 와 하이닉스에서 양산되었고, 2020년 11월 NVIDIA 에서도 HBM2E 를 사용한 그래픽 카드를 발표함. 

 

2021년 SK하이닉스에서 HBM3의 개발소식이 발표된 후 2022년 1월 JEDEC 표준사양이 발표되었고, HBM3 가 SGRAM 대비 대역폭 우위를 보이는 상황임. 

2019년에 개발을 일시 철수했던 삼성전자는 뒤늦게 4세대 HBM 개발을 시작하였고, 2022년에 HBM3 '아이스볼트(Icebolt)'를 개발하였다.그러나 SK하이닉스보다 1년 늦게 개발된 탓인지 엔비디아에 납품은 어려운 상황이다. 트렌트포스측에서는 삼성전자가 HBM3를 2023년 말에서 2024년 1월 사이에 양산할 것으로 전망하고 있다. 

2023년 기준 메모리반도체 시장에서 HBM이 차지하는 비중은 1% 미만이지만# 매출은 10%에 달할 정도로 고부가가치 메모리 중 하나로 자리잡았다. 인공지능 칩의 가파른 수요 증가로 인해 이에 걸맞는 처리속도에 대한 수요도 덩달아 증가하며 호조세를 맞고 있다. 2023년에는 해당 분야에서 하이닉스와 삼성전자가 각각 53%, 38%로서 도합 90% 수준의 점유율을 기록하고 있고 나머지 10%는 마이크론이 차지하고 있다. 특히 최신 HBM3의 경우 2024년 기준 SK하이닉스가 90%를 차지할 정도로 거의 독주하고 있다.범용 인공지능 칩 시장의 80% 가량을 차지하고 있는 엔비디아가 하이닉스와의 협력을 통해 자사 GPU에 제품을 결합하여 판매하기 때문에 시장점유율 면에서 상당히 유리한 위치를 차지하고 있다.

2023년 8월, SK하이닉스에서 HBM3E 개발에 성공하였다.
2023년 10월, 삼성전자에서 일명 '샤인볼트(Shinebolt)’라는 HBM3E의 개발에 성공하였다고 발표하였다.
2023년 11월, 엔비디아는 HBM3E가 탑재된 H200과 B100을 2024년 2분기에 출시한다고 발표하였다. AMD와 인텔도 각각 HBM3가 탑재된 MI350과 가우디3를 출시한다.

2023년 HBM 시장 전체 규모는 40억 달러로 추정하고 있고, 2024년에는 120억달러로 작년 대비 3배 늘어날 것으로 예상하고 있다. 하이닉스의 2023년 HBM 매출은 20억달러 수준이다.

2024년 2월, SK하이닉스에서 16단 HBM3E 기술을 첫 공개할 것으로 알려졌다. 16단 48GB에 1.28TB/s의 대역폭을 처리할 수 있는 것으로 알려졌다.

 

2024년 2월 27일 Micron 에서 HBM3E 양산을 발표하였고, 삼성전자에서도 12단 HBM3E 개발을 발표함. 

 

4. 잡설 

SK 하이닉스에서는 HBM으로 12월부터 영업이익을 양전하였으나, 삼성전자 와 마이크론은 아직 적자인 상황임.

고부가가치의 메모리인 HBM에 시장성에 메모리 3사 모두 사활을 걸고 개발을 하고 있는 것으로 보임.

현재 선두주자는 SK 하이닉스이나, 마이크론이나 삼성전자가 언제 어떤 제품을 발표할지에 대해서 관심을 가져야 될 것 같음.

 

* 양산이 아니라 제품 개발로 발표되는 경우는 무시해도 괜찮을듯 함. 

* 삼성전자는 발열을 못잡아서 HBM3 NVIDIA 납품 및 양산을 못하였다고 하는데...

  과연 HBM3E/HBM4 에서는 다른 메모리 사를 따라잡을 수 있는지도 관심을 가져볼만함.