1. DRAM与内存墙

2017 年，NVIDIA V100 搭载 HBM2 显存，带宽 0.9TB/s，峰值算力 125 TFLOPS。2023 年，H100 搭载 HBM3 显存，带宽 3.35TB/s，峰值算力 1,979 TFLOPS。

七年间带宽仅提升了 3.7 倍，算力却提升了接近 16 倍。当处理器的计算能力增速远高于存储带宽增长时，就会出现处理器有能力跑的更快，但是不得不等待存储搬运数据，就像撞到一堵墙，这就是所谓的 “内存墙”。

DRAM（Dynamic Random Access Memory，动态随机存取存储器） 是目前计算机主存储器和显存的核心技术，有过装机经验的朋友应该见过内存条上的颗粒芯片，现代GPU的显存通常被改在散热器下面，看起来很内存颗粒差不太多。

DRAM 的记忆单元由 1 个晶体管（Transistor）+ 1 个电容（Capacitor） 构成，简称 1T1C：通过晶体管向电容充放电实现读写，但因电容漏电需要每隔 ~64ms 刷新一次，掉电以后记忆会丢失。

DRAM 的读写速度由以下公式确定：

带宽（bytes/s）= 频率（Hz）× 位宽(bits)/8

目前无论计算单元 CPU 或 GPU，还是 DRAM 的制程都已经逐步接近物理极限，但是计算单元的效率增速依然高于 DRAM。特别是 GPU，其中通常包含数千个并行单元，其对数据带宽的要求能达到 CPU 的10～100 倍。

为了满足 GPU 对存储带宽的要求，从上面提到的带宽公式可以知道，要么提高频率，要么增加位宽。

路线一：GDDR（Graphics DDR）——频率路线

GDDR（Graphics Double Data Rate，图形双倍数据率）与消费级 DDR 内存同源：

• 通过激进提高 I/O 数据速率来获得高带宽（当前主流 GDDR6X 可达 16-24 Gbps，下一代 GDDR7 预计可达 28-32 Gbps）。 每个通道位宽仅为 32-bit，通过多通道并行（通常 8-16 通道）达到总位宽 256-512-bit。
• 采用独立封装（Separate Package），每颗芯片独立焊接到 PCB 上。

代价：

• 频率提高导致功耗显著增加。在核心电压基本保持不变的情况下，根据动态功耗公式，功耗与频率呈线性正比关系，高频运行会带来巨大的发热与能耗压力。
• 独立封装无法进行垂直堆叠，单芯片容量受限。多颗芯片并联占用大量 PCB 面积，且长距离走线使得信号完整性（Signal Integrity）设计难度递增。

典型产品：NVIDIA RTX 4090 使用 24 颗 GDDR6X，总位宽 384-bit，带宽达 1.0 TB/s。

路线二：HBM（High Bandwidth Memory）——位宽与短距路线

HBM 采取完全不同的思路，不追求高频，而是将位宽和物理距离优化推到极致。

• 通过 TSV（Through Silicon Via，硅通孔）将多层 DRAM 芯片进行 3D 垂直堆叠。
• 使用 Microbump（微凸块）将各层进行高密度垂直互连。 整个堆叠与 GPU 通过 Interposer（中介层）封装在同一基板上，实现极短的互连布线。
• HBM 的核心理念：用“宽”和“短”替代“快”。以 HBM3 为例，每个堆叠（Stack）的接口位宽高达 1024-bit，而一条 GDDR6 通道仅为 32-bit。HBM 以更低的数据速率（6.4 Gbps vs 16 Gbps）实现了数倍于 GDDR 的总带宽，同时大幅降低了传输延迟与功耗。

代价：

• 需要精确的 Interposer 和先进封装工艺（如 CoWoS），制程复杂度远超传统独立封装。
• TSV 工艺成本高、良率控制难度大。
• 3D 堆叠结构使散热管理更加困难。

HBM 是一条“昂贵但必要”的路线。消费级显卡使用 GDDR 仍是兼顾性能与性价比的选择；但在 AI 训练、HPC（高性能计算）这类需要 TB/s 级海量数据吞吐的场景中，HBM 是目前打破“内存墙”最现实且核心的解决方案。

2. HBM3架构

为了提高带宽和单位面积下的存储容量，HBM3 将多层 DRAM 在垂直方向累加起来，就像一栋8～12 层楼房。这样就比 GDDR 那种平房容量更高、吞吐量也更大。

2.1 DRAM Core Die（核心存储层）

DRAM Core Die 是实际记忆数据的场所，其结构大体上与通用 RAM 一致，构成了 HBM 各层“货仓”（但 1 楼的 Base Die 除外，稍晚会提到）。

每颗 Core Die 是一颗经过 TSV （硅通孔）工艺魔改的 DRAM 芯片。与传统 DRAM 不同，HBM 的 Core Die 表面密集排列着贯穿硅片的通孔阵列——TSV（Through Silicon Via，硅通孔）。这些通孔随后会被填充铜柱，形成横跨所有层的高速数据垂直通路，同时铜柱也是 HBM 的关键散热组件。铜柱两端会焊接微小的锡球（Microbumps），用于两层之间的物理和电气连接。

传统 DRAM 的数据 I/O 位于芯片边缘（Peripheral Area），通过金属线连接到 PCB。这种方式无法实现垂直堆叠。TSV 解决了这个问题：它将数据 I/O 从芯片边缘转移到了芯片表面/内部，使得数据能够垂直穿过每一层芯片传输，最终由底部的 Base Die 统一对外输出。

2.2 Microbump（微凸块）层间互连

相邻 DRAM die 之间通过 Microbump（微凸块） 实现物理和电气连接：

• Microbump 是直径约 20-25μm、间距约 40-50μm 的微小锡球。
• 每个 microbump 对应一个 TSV 通孔的出口。
• 多层 die 堆叠时，die 与 die 之间填充 Underfill（底部填充胶）以增强机械稳定性。

简而言之，各层之间通过 Microbump 这种微小的锡球焊接彼此的铜柱，灌胶以后形成一个整体。

2.3 Base Die（基础层）

堆叠最底部是一颗特殊的逻辑 Die，它不包含 DRAM 存储单元，而是承担底层控制功能：

• DRAM 阵列控制：管理每一层 Core Die 的刷新时序（Refresh）、行列冗余（Row/Column Redundancy）及故障替换。
• ECC 引擎：HBM3 引入了强大的片上 ECC（On-die ECC）和错误检查与清洗（ECS）功能，保障海量数据吞吐下的可靠性。
• 接口桥接：提供标准化的并行接口，与外部 GPU 侧的 HBM PHY 进行对接。

Base Die 是 HBM 堆叠中唯一使用逻辑工艺的部分，通常采用 12nm/16nm 等先进逻辑节点制造，以支撑复杂的控制逻辑。这一层在 HBM3 中一般由 DRAM 厂商自行完成。

2.4 1024-bit 位宽与伪通道设计

HBM3 每个堆叠对外暴露 1024-bit 接口，但内部架构进行了革新：

• 这 1024-bit 被划分为 16 个 64-bit 通道，并进一步细分为 32 个 32-bit 伪通道（Pseudo-Channels）。
• 伪通道可独立异步操作，大幅提升了随机访问的并发效率，减少了通道间的干扰。
• 凭借 1024-bit 的极致位宽和 6.4 Gbps 的数据速率，单堆叠带宽达 819 GB/s，约为单颗 GDDR6 芯片的 10-13 倍。

2.5 解决了什么问题

HBM3 最重要的贡献是在单位面积内实现了前所未有的带宽密度，同时通过伪通道架构大幅提升了并发访问效率。

以 H100 GPU 为例：搭配 6 颗 HBM3 stack（12-Hi），总带宽达 3.35 TB/s。HBM3 堆叠的标准封装尺寸约为 7 mm × 11 mm，6 颗 stack 合计占用约 462 mm²。在一张面积约 3,000 mm² 的高端 GPU 封装基板上，HBM 仅占用约 15%-20% 的面积，就提供了 3.35 TB/s 的带宽。 如果使用 GDDR6 实现同等带宽（单颗 ~64 GB/s），至少需要 54-60 颗芯片，这将彻底耗尽 PCB 空间并引发严重的信号完整性问题，在 GPU 周围平铺五六十颗显存颗粒几乎无法实现。

2.6 HBM3 的新问题

HBM3 将 TSV + Microbump 的组合推到了当前极限。暴露出的问题直接定义了 HBM4 的设计方向。

• 散热：HBM3 堆叠十几层以后，GPU 运行时发热严重，特别是堆叠中层，通常比底层高出 15 度左右。

• Microbump 的物理极限：为了堆叠更多层并限制堆叠高度，必须使用更小的锡球，过小的锡球又会造成层与层连接强度不足、虚焊、短路等风险，也会造成连接电阻上升，进一步加剧发热。

• 信号完整性：过多的接口界面引入的寄生电容、电阻导致总线信号质量下降。

• 封装、测试成本上升。

其实核心矛盾是更强的 LLM 对显存的需求持续膨胀，需要更快更大的显存，堆叠更多层 Core die。

3. HBM4 架构

HBM4 不是一次简单的规格升级，而是在接口带宽、芯片互连方式、base die 工艺、堆叠结构四个维度同时发生了方向性变化。

3.1 2048-bit 接口

HBM3 到 HBM4 最直观的变化是接口位宽从 1024-bit 翻倍到 2048-bit。

根据 JEDEC 发布的 HBM4 规范（JESD270-4），HBM4 被划分为 32 个独立的 64-bit 通道。每个 64-bit 通道内部再细分为 2 个 32-bit 的伪通道（Pseudo-Channels）。这种扩展允许在内存操作中实现更大的访问灵活性和并行性。

这意味着 GPU 需要为 HBM4 重新设计 HBM PHY（物理层接口）。随着总线宽度翻倍，HBM PHY 面积也随之增大。反过来，如果将部分存储管理逻辑“下放”到 HBM Base Die，可以局部抵消 PHY 面积的增长。

HBM3E 的单颗带宽上限约为 1.2-1.4 TB/s。如果 GPU 配置 8 颗 HBM4 stack，系统总带宽可达 16-26 TB/s。

3.2 混合键合（Hybrid Bonding）

混合键合（也称 Cu-Cu Bonding / 铜-铜直接键合）是突破 16-Hi 堆叠物理极限的关键技术。它去除了传统的锡球和底部填充胶，将芯片表面通过高精度打磨（CMP）抛光至原子级别平整度后，铜触点与介电层直接通过分子扩散熔合为一个整体，层与层之间完全紧贴，堆叠高度甚至能比 HBM3 更低。

3.3 Base Die 工艺升级：逻辑工艺集成

Base Die 是 HBM 堆叠最底部的控制层。HBM4 将 Base Die 从 DRAM 外围工艺全面迁移至先进逻辑代工节点。例如，SK海力士采用台积电的 12nm/5nm 工艺，三星则采用自研的 4nm (SF4) 逻辑工艺。

解决的问题：

• 减轻 GPU die 的 PHY 占用：将部分存储管理逻辑（指令调度、时序控制、ECC 聚合）从 GPU SoC 迁移到 Base Die，GPU 只负责更高层级的访存命令。
• 降低系统能耗：逻辑工艺的升级使 Base Die 的工作电压（VDDQ）从 HBM3E 的 1.1V 降至 HBM4 的 0.75V 左右，显著降低了发热与功耗。
• 更高的管理能力：逻辑 Base Die 可集成更复杂的 ECC 引擎、每层 DRAM die 的独立温度监控和数据刷新率自适应调节。

Base Die 工艺迁移到逻辑节点后，其生产从 DRAM Fab 转向逻辑代工厂（例如台积电），封装厂有可能在 HBM4 供应链中分享更多毛利。

另外，三星是几家厂商重唯一具备 DRAM、逻辑封装能力的厂商，HBM4 从晶圆加工到最终封片可以在内部供应链解决，而其他厂商需要依赖外部代工厂，这可能使三星在 HBM4 市场获得成本优势。

4. HBM4 带来的变化

4.1 16-Hi 堆叠与厚度挑战

HBM4 支持最高 16-Hi 堆叠。为满足 JEDEC 规定的 775μm 总高度限制，DRAM Die 的厚度必须从 HBM3 的 ~50μm 减薄至 ~30μm。极薄的晶圆在加工和键合过程中极易损坏，这对封装工艺提出了极高的挑战。

更大的单 Stack 容量意味着更少的 stack 数量即可实现同等总容量，从而降低 GPU 封装基板复杂度和 Interposer 面积。

4.2 HBM4 的成本与产能特征

相较于 HBM3，HBM4 的成本分布预期发生显著变化：

• Base Die 成本占比上升：单位面积的逻辑 wafer 成本是 DRAM 的 2-3 倍。

• 封装绝对成本不降反升：混合键合初期良率低于成熟的 Microbump，爬坡过程预计需要 2-3 年。

• 测试复杂度更高：16-Hi 堆叠中每层都需要 KGD（Known Good Die）测试，良率损失随层数线性增加。

• HBM4 对 DRAM 晶圆消耗量的放大效应：每颗 stack 包含更多 Core Die（16 vs 12，+33%）加上混合键合良率爬坡损失，HBM 对 DRAM 总晶圆产能的“吞噬”效应被放大，留给标准通用型 DRAM 的晶圆产能空间被进一步挤压。

从 HBM4 开始，存储芯片更接近逻辑芯片，而非之前单纯的物理芯片。其 Base Die 开始使用逻辑封片，不再只是单纯的电气接口层，它开始集成内存控制器（Memory Controller）、ECC（错误检查纠正）、电源管理，甚至可以根据客户需求集成轻量级的计算单元（Compute Blocks）。这意味着，存储芯片自身已经具备了一定的“大脑”和计算调度能力。GPU 厂商甚至可以针对自身硬件定制 HBM4 的逻辑电路，进一步优化 GPU 设计。这使得存储行业有可能甩掉纯周期性属性，逐步向高门槛的“成长型科技系统”重估。

联想本月全球存储厂商股票暴跌，已经处于超卖状态，新的机会也许已经出现。