1. DRAM与内存墙

2017 年，NVIDIA V100 搭载 HBM2 显存，带宽 0.9TB/s，峰值算力 125 TFLOPS。2023 年，H100 搭载 HBM3 显存，带宽 3.35TB/s，峰值算力 1,979 TFLOPS。

七年间带宽仅提升了 3.7 倍，算力却提升了接近 16 倍。当处理器的计算能力增速远高于存储带宽增长时，就会出现处理器有能力跑的更快，但是不得不等待存储搬运数据，就像撞到一堵墙，这就是所谓的 “内存墙”。

DRAM（Dynamic Random Access Memory，动态随机存取存储器） 是目前计算机主存储器和显存的核心技术，有过装机经验的朋友应该见过内存条上的颗粒芯片，现代GPU的显存通常被改在散热器下面，看起来很内存颗粒差不太多。

DRAM 的记忆单元由 1 个晶体管（Transistor）+ 1 个电容（Capacitor） 构成，简称 1T1C：通过晶体管向电容充放电实现读写，但因电容漏电需要每隔 ~64ms 刷新一次，掉电以后记忆会丢失。

DRAM 的读写速度由以下公式确定：

带宽（bytes/s）= 频率（Hz）× 位宽(bits)/8

目前无论计算单元 CPU 或 GPU，还是 DRAM 的制程都已经逐步接近物理极限，但是计算单元的效率增速依然高于 DRAM。特别是 GPU，其中通常包含数千个并行单元，其对数据带宽的要求能达到 CPU 的10～100 倍。

解决内存墙 为了满足 GPU 对存储带宽的要求，从上面提到的带宽公式可以知道，要么提高频率，要么增加位宽。

路线一：GDDR（Graphics DDR）——频率路线

GDDR（Graphics Double Data Rate，图形双倍数据率）与消费级 DDR 内存同源：

• 通过激进提高 I/O 数据速率来获得高带宽（当前主流 GDDR6X 可达 16-24 Gbps，下一代 GDDR7 预计可达 28-32 Gbps）。 每个通道位宽仅为 32-bit，通过多通道并行（通常 8-16 通道）达到总位宽 256-512-bit。
• 采用独立封装（Separate Package），每颗芯片独立焊接到 PCB 上。

代价：

• 频率提高导致功耗显著增加。在核心电压基本保持不变的情况下，根据动态功耗公式，功耗与频率呈线性正比关系，高频运行会带来巨大的发热与能耗压力。
• 独立封装无法进行垂直堆叠，单芯片容量受限。多颗芯片并联占用大量 PCB 面积，且长距离走线使得信号完整性（Signal Integrity）设计难度递增。

典型产品：NVIDIA RTX 4090 使用 24 颗 GDDR6X，总位宽 384-bit，带宽达 1.0 TB/s。

路线二：HBM（High Bandwidth Memory）——位宽与短距路线

HBM 采取完全不同的思路，不追求高频，而是将位宽和物理距离优化推到极致。

• 通过 TSV（Through Silicon Via，硅通孔）将多层 DRAM 芯片进行 3D 垂直堆叠。
• 使用 Microbump（微凸块）将各层进行高密度垂直互连。 整个堆叠与 GPU 通过 Interposer（中介层）封装在同一基板上，实现极短的互连布线。
• HBM 的核心理念：用“宽”和“短”替代“快”。以 HBM3 为例，每个堆叠（Stack）的接口位宽高达 1024-bit，而一条 GDDR6 通道仅为 32-bit。HBM 以更低的数据速率（6.4 Gbps vs 16 Gbps）实现了数倍于 GDDR 的总带宽，同时大幅降低了传输延迟与功耗。

代价：

• 需要精确的 Interposer 和先进封装工艺（如 CoWoS），制程复杂度远超传统独立封装。
• TSV 工艺成本高、良率控制难度大。
• 3D 堆叠结构使散热管理更加困难。

HBM 是一条“昂贵但必要”的路线。消费级显卡使用 GDDR 仍是兼顾性能与性价比的选择；但在 AI 训练、HPC（高性能计算）这类需要 TB/s 级海量数据吞吐的场景中，HBM 是目前打破“内存墙”最现实且核心的解决方案。

2. HBM3架构

为了提高带宽和单位面积下的存储容量，HBM3 将多层 DRAM 在垂直方向累加起来，就像一栋8～12 层楼房。这样就比 GDDR 那种平房容量更高、吞吐量也更大。

2.1 DRAM Core Die（核心存储层）

DRAM Core Die 是实际记忆数据的场所，其结构大体上与通用 RAM 一致，构成了 HBM 各层“货仓”（但 1 楼的 Base Die 除外，稍晚会提到）。

每颗 Core Die 是一颗经过 TSV （硅通孔）工艺魔改的 DRAM 芯片。与传统 DRAM 不同，HBM 的 Core Die 表面密集排列着贯穿硅片的通孔阵列——TSV（Through Silicon Via，硅通孔）。这些通孔随后会被填充铜柱，形成横跨所有层的高速数据垂直通路，同时铜柱也是 HBM 的关键散热组件。铜柱两端会焊接微小的锡球（Microbumps），用于两层之间的物理和电气连接。

传统 DRAM 的数据 I/O 位于芯片边缘（Peripheral Area），通过金属线连接到 PCB。这种方式无法实现垂直堆叠。TSV 解决了这个问题：它将数据 I/O 从芯片边缘转移到了芯片表面/内部，使得数据能够垂直穿过每一层芯片传输，最终由底部的 Base Die 统一对外输出。

2.2 Microbump（微凸块）层间互连

相邻 DRAM die 之间通过 Microbump（微凸块） 实现物理和电气连接：

• Microbump 是直径约 20-25μm、间距约 40-50μm 的微小锡球。
• 每个 microbump 对应一个 TSV 通孔的出口。
• 多层 die 堆叠时，die 与 die 之间填充 Underfill（底部填充胶）以增强机械稳定性。

简而言之，各层之间通过 Microbump 这种微小的锡球焊接彼此的铜柱，灌胶以后形成一个整体。

2.3 Base Die（基础层）

堆叠最底部是一颗特殊的逻辑 Die，它不包含 DRAM 存储单元，而是承担底层控制功能：

• DRAM 阵列控制：管理每一层 Core Die 的刷新时序（Refresh）、行列冗余（Row/Column Redundancy）及故障替换。
• ECC 引擎：HBM3 引入了强大的片上 ECC（On-die ECC）和错误检查与清洗（ECS）功能，保障海量数据吞吐下的可靠性。
• 接口桥接：提供标准化的并行接口，与外部 GPU 侧的 HBM PHY 进行对接。

Base Die 是 HBM 堆叠中唯一使用逻辑工艺的部分，通常采用 12nm/16nm 等先进逻辑节点制造，以支撑复杂的控制逻辑。这一层在 HBM3 中一般由 DRAM 厂商自行完成。

2.4 1024-bit 位宽与伪通道设计

HBM3 每个堆叠对外暴露 1024-bit 接口，但内部架构进行了革新：

• 这 1024-bit 被划分为 16 个 64-bit 通道，并进一步细分为 32 个 32-bit 伪通道（Pseudo-Channels）。
• 伪通道可独立异步操作，大幅提升了随机访问的并发效率，减少了通道间的干扰。
• 凭借 1024-bit 的极致位宽和 6.4 Gbps 的数据速率，单堆叠带宽达 819 GB/s，约为单颗 GDDR6 芯片的 10-13 倍。