고대역폭 메모리(HBM)는 여러 가지 이유로 특히 고성능 컴퓨팅(HPC), AI, 그래픽 렌더링 및 데이터 집약적인 애플리케이션의 맥락에서 매우 중요하다. HBM은 컴퓨팅에 있어 CPU/GPU의 처리 능력을 따라잡을 수 있을 만큼 빠르게 주변에서 데이터를 공급하는 전통적인 메모리 시스템과 CPU/GPU 간의 격차 증가라는 근본적인 문제를 해결할 수 있는 해법으로 부상하고 있다. 이러한 격차는 프로세서가 데이터를 기다리는 데 시간을 소비하게 되어 비효율이 증가하고, 계산 처리량 감소를 초래하기 때문에 시스템 성능 향상에 있어 큰 제약요소로 작용하고 있다.

HBM은 3D 제조 기술을 활용하여 D램 칩을 수직으로 적층함으로써 기존의 메모리 솔루션에 비해 훨씬 넓은 인터페이스를 구현한다. 이 방법은 전력 소비를 줄이면서 메모리 대역폭을 크게 증가시킨다. 예를 들어 HBM의 고급 버전인 HBM2e 장치는 1,024비트의 버스 인터페이스로 D램 스택을 프로세서에 연결하여 데이터에 접근하고 처리할 수 있는 속도를 획기적으로 높인다. 이러한 설계는 실리콘 인터포저에 의해 용이하게 되어 메모리 읽기/쓰기 작업에 필요한 수많은 라인을 연결하는 복잡한 작업을 관리할 수 있다.

HBM의 장점은 메모리 대역폭의 상당한 증가와 전통적인 DDR 메모리 시스템에 비해 상당한 전력 절약을 포함한다. 예를 들어, 단일 HBM2e 디바이스는 GDDR6 메모리와 동일하거나 더 높은 대역폭을 제공할 수 있지만 거의 절반의 전력 소비로 제공할 수 있다. 이러한 효율성 이득은 머신 러닝 모델 및 고성능 컴퓨팅 작업과 같이 대용량 데이터를 빠르게 처리해야 하는 애플리케이션에 매우 중요하다.

HBM의 배경이 되는 기술은 최대 8개의 DRAM 다이와 버퍼 회로를 위한 선택적인 베이스 다이를 적층하는 것으로, 모두 TSV(Through Silicon Vias)와 마이크로 범프를 통해 상호 연결된다. 이 작고 효율적인 구조는 DDR4나 GDDR5와 같은 대안들보다 더 작은 폼 팩터에서 더...