在全球AI芯片性能竞赛的浪潮中，HBM作为关键技术，正成为市场的焦点。HBM，最初由三星、AMD和SK海力士提出。该技术通过堆叠DRAM芯片和采用TSV和芯片堆叠技术来实现高速、低功耗的内存架构。

HBM的设计思路很直接。即将内存靠近CPU或GPU，通过将多个内存芯片堆叠在一起，形成一个矩阵，并与处理器紧密组合，从而创建一个基本组件。实现紧凑且高速的传输。因此，HBM几乎拥有可以媲美RAM的特性。

HBM，全称为High Bandwidth Memory，即高带宽内存，是一种用于CPU和GPU的创新型内存芯片技术。它本质上是将多个DDR芯片通过垂直堆叠的方式与GPU一起封装，从而形成一个具有大容量和宽数据通道的DDR组合阵列。

如果传统DDR技术是平房设计，而HBM则采用了“摩天大楼设计”。这种垂直堆叠的设计极大地提升了性能和带宽，使HBM能够在处理大量数据时表现更加出色。

以AMD最新发布的MI300X GPU芯片布局为例进行说明。中央的芯片是GPU核心，而左右两侧各有4个小型芯片，这些是由DDR芯片堆叠组成的HBM。在传统的平面布局中，GPU通常会配备2、4、6或8个这样的堆叠单元。在三维空间中，目前的技术允许最多进行12层的堆叠。

作为一种革命性的存储技术，HBM的设计初衷是解决传统平面内存布局带宽和功耗的瓶颈问题。与传统的平面内存技术相比，HBM有几个显著的优势：

高带宽：HBM能提供比传统DDR内存更高的带宽。例如，HBM2E可以提供每秒高达410 GB的带宽，而相比之下，最新的DDR4内存的峰值带宽通常在20-25 GB/s左右。据《SemiAnalysis》报道，仅GPT-4就包含了1.8万亿个参数。要有效地运用人工智能技术，就必须使用像HBM这样的高容量、快速访问的内存，以便参数能够被迅速传输和存储。

低功耗：通过减少I/O电压和优化内存堆叠结构，HBM能在保持高性能的同时降低能耗。

空间效率：由于采用垂直堆叠，HBM能在较小的物理空间内提供更大的存储密度，这对于空间受限的应用如智能手机和平板电脑尤为重要。

此外，HBM的紧凑堆叠设计也使得内存模块的体积大大减小，为设备设计提供了更大的灵活性和创新空间。

AI给存储行业带来了新的成长机会，涵盖AI服务器、AI PC、AI phone等方面。由于一开始是ChatGPT等应用带动的AI浪潮，当前AI服务器已经给存储行业注入了大量的订单和收入体量。从应用到终端，现在AI PC和AI phone也已经开始陆续推出新品，也有望带来新的升级。

AIGC大模型的出现，提升了对算力芯片的需求，进而也带动了对存储芯片要求的提升。存储芯片能从两方面来影响：①更大的带宽，能提升计算的效率；②更大的容量，也能存储大模型下大量的数据信息。从产品列表中能看出，HBM产品在容量和带宽上都明显超过DDR、LPDDR和GDDR产品。

虽然也可以用堆大量的存储芯片来达到足够的带宽，但这同时也占用了大部分的芯片面积。如果通过3D封装工艺实现垂直方向的堆叠封装，HBM能明显节约存储芯片的占用面积。

而在AI浪潮的影响下，各大科技厂商都提升了资本开支，尤其加大了对AI服务器的采购，其中HBM也是直接受益的。根据Trendforce的数据，2023年全球AI服务器出货量达到120万台，同比增长35%以上。

同时，2024年的出货量预期将继续提升至165万台以上，同比增速达到37%。因此，我们预期HBM也将继续维持较高的增长表现。

免责声明：

1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证，并在此声明不承担信息可能产生的任何责任、任何后果。

2、 本号非商业、非营利性，转载的内容并不代表赞同其观点和对其真实性负责，也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误，负任何直接或间接责任。

3、本号部分资料、素材、文字、图片等来源于互联网，所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品，请与我们取得联系，我们会及时修改或删除。