从绿叶到鲜花，AI 推理如何为 NAND“逆天改命”？

NAND 行业长期受困于一种“技术诅咒”：正如海豚君在《NAND天性 “多产”，闪迪凭什么守 80% 毛利率？》中提到的，AI 到来之前的 NAND 本质上是一门大宗商品生意——产能被市场无情淘汰，技术领先无法带来溢价，只能做到“比同行亏得少”，销量增长带来的收益被降价完全抵消。

问题的根源在于供给端产能过剩：通过在单一晶圆上向上堆叠、横向缩小孔径，从 BiCS5 到 BiCS11 这五代产品，闪迪每片晶圆的 bit 产出每代提升 54%，年化复合增长率约 27%。

这意味着，即使不投入一分钱用于扩产（CapEx），bit 产能每年也会自动膨胀近三成。3D 转型期间更是出现了爆发式增长，供给一度远超需求，使得“轻资产”的 NAND 业务在经济下行周期中比“重资产”的 DRAM 更为惨烈。

而 AI 的兴起，正在改写 NAND 的叙事逻辑。本报告中，海豚君聚焦于 AI 浪潮究竟如何对 NAND 下游需求带来结构性的重塑？

以下为详细分析

1. AI 浪潮究竟给 NAND 下游需求带来了怎样的结构性重塑？

在 AI 出现之前的消费电子周期中，主导需求的应用场景——手机、PC、传统服务器等核心下游市场增长平稳且可预测，缺乏爆发性变量。因此，周期的剧烈波动实际上是由供给端的无序扩张和急剧收缩主导的。

需求增长主要来自三个驱动力：单机存储容量的提升、新兴市场的渗透，以及固态硬盘（SSD）对机械硬盘（HDD）的存量替代。这些增长是缓慢而稳定的。

稳定的需求，加上刚性的供给增长，导致 NAND 的属性被锁定在经典的“硅周期”中：供过于求、价格暴跌 → 厂商减产，低价刺激单机容量升级 → 供需再平衡、价格回升 → 厂商在高利润下追高扩产 → 再次陷入产能过剩。

只要 NAND 无法摆脱“外围零件”的定位，这个死循环就无法打破。唯一的出路是出现一个对价格不敏感、且与 GPU 算力部署直接绑定的新场景——这正是后来 AI 浪潮所扮演的破局者角色。

第二阶段（2025 年之后）：AI 推理驱动的结构性爆发

2026 年将成为 NAND 历史上最具标志性的分水岭：数据中心占 NAND 总需求的比重，将从 2025 年的约 30% 跃升至 2026 年的约 45%，历史上首次超过智能手机（同期收缩至约 23%），成为最大的终端基本盘。

驱动 NAND 需求的主角，从对价格高度敏感、库存大起大落的消费电子，转变为以总拥有成本（TCO）和算力回报（ROI）做决策、对价格脱敏的云服务商。

云厂商关心的不再是“这季度颗粒够不够便宜”，而是“能否按时拿到足够的高性能 eSSD，确保未来三年 GPU 基础设施建设不掉链子”。从“短期压价”转向“长期保供”，这正是原厂推行新型长协模式（NBM）的需求侧基础。

随着基本盘的切换，AI 重心“由训转推”，进一步让 NAND 的角色发生质变：

在 AI 早期，NAND 只是一个外围的“数据仓库”：用于存储训练语料、模型权重、防宕机的 Checkpoint（存档）等静态数据，放在 GPU 能够快速调取的近端。这些数据的可替代性很强——丢失后只需从数据湖重新下载，仅消耗带宽和少量电费，无需动用昂贵的 GPU 重新计算。

但在推理时代，计算变成了高并发、持续性的“动态消耗”——存储需求与“AI 用户数 × 使用频次 × 上下文长度”紧密绑定。更重要的是，NAND 首次被用于存储“计算的中间产物”。

长文本推理产生的大量 KV Cache 并非从外部搬运来的静态数据，而是 GPU 消耗大量算力后生成的“工作记忆”。一旦丢失，中央仓库中没有备份，只能再次消耗昂贵的 GPU 算力和电费重新计算。

存储的价值第一次可以直接折算成“算力与电费”。正如闪迪所说——SSD 本质上已经进化为一块“Token 电池”：Token 是已经完成的功，与其丢弃重算，不如“充”入硬盘；存储 KV Cache 就是在帮助云厂商节省电费和算力。

铠侠的预测也印证了这一趋势：数据中心 NAND 总需求将从 2025 年的 286 EB 增至 2031 年的 1,686 EB（CAGR 34%），且内部结构极度分化：

AI 推理： 从 2025 年的 86 EB 激增至 2031 年的 1,251 EB，CAGR 高达 56%；占数据中心 NAND 需求的比例也从 30% 攀升至 74%。

AI 训练与传统负载： 同期 AI 训练的 CAGR 仅 11%，传统云工作负载（以 CPU 为主）仅 14%。

推理需求的增速是训练的 5 倍——本轮 NAND 超级行情，将主要由推理需求的爆发主导。

先看 NAND 在 AI 数据中心的主要应用：

① KV Cache 卸载——NAND 成为 GPU 的上下文存储层

在 AI 推理时，GPU 必须为每个 Token 实时计算并维护 KV Cache（模型的“工作记忆”）。但在早期架构中，它被视为“算完即弃”的消耗品：一轮对话结束后，或者 GPU 需要腾出显存服务下一个用户时，HBM 中的 KV Cache 就会被清空。

于是，当用户继续追问，或者多人并发调用同一份超长文档时，系统只能将上下文重新输入 GPU，从头进行一次昂贵的预填充（Prefill）。

Prefill 是推理的第一步：GPU 一次性通读全部输入，计算 Token 间的关联（Attention 机制），然后重新生成 KV Cache——这是整个推理过程中最消耗算力和电力的环节。

过去“用了就丢”，是因为两笔账算不过来：

a. 重算比存起来更便宜： 早期（如 GPT-3 时代）上下文只有 2K Tokens，KV Cache 很小，GPU 零点几秒就能重算完；而存入硬盘需要经过 CPU 和内存中转、在 PCIe 上“折返跑”，来回耗时甚至超过重算。

b. HBM 又小又贵： GPU 自带的显存“寸土寸金”，必须留给当前活跃的计算任务，不可能长期保管已下线用户的历史记忆。

但长文本时代推翻了这笔账：从 2020 年 GPT-3 的 2K Token 到 2026 年主流模型的百万级上下文，六年暴涨 500 倍。重算一次百万 Token 的 KV Cache，需要让昂贵的 GPU 满载运行好几秒，这带来了显著的算力和电力成本。

这直接促成了 KV Cache 的“再定性”：英伟达的 ICMS（推理上下文内存存储）架构，正式将其从“算完即弃的临时缓存”重新定义为“AI 原生持久数据”。

现在，临时缓存变成长久缓存，这笔账是否算得过来？

a. 容量约束：算法压缩也赶不上 KV Cache 膨胀速度

第一个条件，是 HBM 的扩容速度远远跟不上 KV Cache 的膨胀。

KV Cache 总量 = 上下文长度 × 并发会话数 × 单 Token 存储量。目前，前两个变量都在被急剧放大：

上下文长度每年翻倍以上：主流模型从 4K、128K 快速演进到 1M+，KV Cache 随之线性放大。

并发与推理轮次爆发——正被三种应用架构急剧放大：

a. RAG（检索增强生成）： 问一句话，后台塞进两本书。系统将检索到的大量文档拼接到输入端，送入 GPU 的 Token 远超原始提问，单次任务的 KV Cache 直接拉爆。

b. Agentic Search： AI 从“一问一答”变成自主循环的“规划—调用—评估—再检索”。多步任务将单次 Token 消耗从数百个拉到上百万个。

c. Multi-Agent： 多个 Agent 并发协作，每个独立生成 KV Cache，存储需求随数量成倍叠加。

模型厂商每年至少将上下文扩大一倍，HBM 的物理扩容却接近极限：单卡容量大约 2-3 年才翻一倍，红利还在放缓。

判断 KV Cache 是否会溢出，需要以单个推理机柜的可用 HBM 池为单位。以 Rubin NVL72 的 21T HBM 容量为例：

部署 2.8T 参数的旗舰 MoE 模型，FP8 下权重约占 2.8 TB；再扣除激活值、分页与框架开销（约占 12%，约 2.5 TB），真正能给 KV Cache 的池化空间上限约为 15.4 TB。

不压缩时，10 万 Token 约占 40 GB。即使采用最前沿的压缩算法（如谷歌 TurboQuant，从 16 位压到 3 位，约 5–6 倍无损压缩），100 万 Token 仍要占 67–80 GB。

也就是说，一台造价约 500 万美元的机柜，极限只能同时服务 193–230 个百万 Token 级别的会话。对企业级云服务而言，这意味着极低的算力变现效率（ROI）。

一旦上下文扩展到 500 万 Token，或并发突破这一阈值，机柜级 HBM 池会迅速触顶。因此，将 KV Cache 从 HBM 逐级卸载到 DRAM 再到 NAND，往后看是一场必然之路。

b. 便宜，也是致命吸引力

即使 HBM 容量勉强够用，用它长期留存 KV Cache 在经济上也不划算：HBM4 约 16 美元/GB，eSSD 约 0.3-0.4 美元/GB，前者是后者的 40-50 倍。用它来存放几个小时都不调用的“温/冷 KV Cache”，是极度的资源错配。

为此，英伟达确立了新的分层内存架构：G1 HBM → G2 系统 DRAM → G3 本地 SSD（NAND）→ G4 共享网络存储（NAND/HDD），由 NVIDIA Dynamo 在软件层统筹，让 KV Cache 在各层间透明迁移。

英伟达估计，在大规模多智能体推理下，每个 GPU 模组最高需要 16 TB 的 KV Cache。因此，在 Rubin 平台构建了 ICMS/CMX 上下文存储层，位于 G3 本地 SSD 与 G4 共享存储之间，定义为 G3.5 层——因为 G3 容量有限、不能跨节点共享，无法支撑多智能体的大规模复用。

CMX 单层容量约 16TB，是单卡 288GB HBM 的近 60 倍——NAND 足够便宜，才能做到容量大且成本不高。

c. 改用 NAND，时延上来得及吗？

卸载是否值得，最终要看 TTFT（首 Token 时延）——只有“从 SSD 读回来”的时间和成本低于“用 GPU 重新算一遍”，卸载在商业上才成立。

GPU Direct Storage（GDS）是跨越门槛的关键：它绕过 CPU 和 DRAM，通过 PCIe/RDMA 在 eSSD 与 GPU 的显存之间建立一条直连高速路。

据公开验证，GDS 结合压缩技术可以将 KV Cache 的恢复时延改善 10 倍，使得超低时延的上下文交付在工程上成为现实。

NAND 存储 KV Cache 的数据类型：“共享型记忆”和高频复用

即使跨过容量与成本的门槛，KV Cache 要卸载到 NAND 里，还需满足两个条件：

条件一：必须是共享型缓存

a. 短暂型缓存（逐字生成的草稿）：HBM 承载

AI 逐字回答（Decode 阶段）时，每吐一个字都要全量重读历史上下文。此时强行写入 SSD，一是带宽不够，会卡死 AI“说话”的节奏（速度墙）；二是高频碎片化追加写入几周就能耗尽企业级硬盘的寿命（寿命墙）。所以这类草稿禁止落盘，必须留在 HBM 显存中。

b. 共享型缓存（静态打包案卷）：NAND 来存

只有当 AI 刚读完超长提示词（Prefill 阶段）、用户切出对话或 Agent 挂起任务时，产生的才是算完、可整段打包写出的完整上下文。它“块