文档(金鹏): 2026-08-06 章节 48 篇文章摘要归档
- 46 篇原文+摘要双文件归档(按 来源/作者 分层,复用本地归档 20 篇+新抓取 26 篇) - 即梦生成 9 组主题配图(大图+列表缩略图)存入 知识/金鹏/20260806/ - 章节重组为 9 个主题分组并挂接摘要引用
This commit is contained in:
@@ -0,0 +1,66 @@
|
||||
# KV Cache 缓存可卸载至 SSD:打破内存墙限制,AI SSD迎来广阔成长空间
|
||||
|
||||
> **来源**:发现报告
|
||||
> **作者**:国泰海通证券
|
||||
> **发布日期**:2025-10-28
|
||||
> **原文链接**:https://www.fxbaogao.com/detail/5116282
|
||||
|
||||
---
|
||||
|
||||

|
||||
|
||||
KV Cache缓存可卸载至SSD
|
||||
|
||||
本报告导读:
|
||||
|
||||
- 半导体《AI发展,热管理的核心瓶颈向芯片聚焦》2025.10.06
|
||||
- 半导体《商务部发起模拟IC反倾销调查,国产替代加速》2025.09.14
|
||||
- 半导体《下一代英伟达Rubin CPX内存升级》2025.09.11
|
||||
- 半导体《中芯国际拟发行A股购买中芯北方49%少数股权》2025.08.31
|
||||
- 半导体《3D DRAM:云侧内存市场重要竞争者》2025.08.23
|
||||
|
||||
针对大语言模型(LLM)发展中面临的"内存墙"难题,基于SSD的存储卸载技术方案可为AI模型高效运行提供新路径。
|
||||
|
||||
投资要点:
|
||||
|
||||
推理KV Cache容量增长超出HBM承载能力。键值缓存(KV Cache)技术可以优化计算效率、减少重复运算,即将已生成token的Key和Value临时存储起来,后续生成新token时直接复用,无需重新计算,显著提升推理效率。然而,KV Cache需要占用GPU的显存(如HBM),存储历史Key/Value向量,生成的文本越长,缓存数据量越大,可能导致HBM和DRAM超载。面对大模型PB级的天量数据,传统推理架构过度依赖HBM的瓶颈也日益凸显。随着Agentic AI时代到来,模型规模化扩张、长序列需求激增以及推理任务并发量增长,推理的KV Cache容量增长已超出HBM的承载能力,频繁的内存溢出,需要GPU反复计算,造成卡顿迟缓。KV Cache缓存可从GPU内存offload至CPU、SSD。随着推理性
|
||||
|
||||
能的重要性不断提升,业界均在探索KV Cache分级缓存管理技术。如英伟达今年5月推出了分布式推理服务框架Dynamo,支持将KVCache缓存从GPU内存卸载到CPU、SSD甚至网络存储,解决大模型显存瓶颈,避免重复计算。其中,KVBM提供G1-G4(GPU memory、CPU host memory、SSD、远端存储)的KV Cache卸载,避免大量KVCache重计算。2025开放数据中心大会之新技术与测试(存储)分论坛中,三星电子高级项目经理针对大语言模型(LLM)发展中面临的"内存墙"难题,提出基于SSD的存储卸载技术方案,为AI模型高效运行提供新路径。三星将KV Cache卸载至NVMe SSD。当KV Cache大小超过HBM或DRAM容量时,该方案可使首token延迟(TTFT)最高降低66%,token间延迟(ITL)最高降低42%,且支持多用户多轮对话场景下的KV Cache重用,随着用户与对话轮次增加,I/O吞吐量稳步上升,主要I/O模式为256KB读写。
|
||||
|
||||
AI存储需求激发HDD替代效应,NAND Flash供应商加速转进大容量Nearline SSD。根据TrendForce集邦咨询,AI推理应用快速推升实时存取、高速处理海量数据的需求,促使HDD与SSD供应商积极扩大供给大容量存储产品。由于HDD市场正面临巨大供应缺口,激励NAND Flash业者加速技术转进,投入122TB、甚至245TB等超大容量Nearline SSD的生产。
|
||||
|
||||
风险提示:国产替代进程不及预期;技术迭代不及预期。
|
||||
|
||||
本公司具有中国证监会核准的证券投资咨询业务资格
|
||||
|
||||
分析师声明
|
||||
|
||||
作者具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力,保证报告所采用的数据均来自合规渠道,分析逻辑基于作者的职业理解,本报告清晰准确地反映了作者的研究观点,力求独立、客观和公正,结论不受任何第三方的授意或影响,特此声明。
|
||||
|
||||
免责声明
|
||||
|
||||
本报告仅供国泰海通证券股份有限公司(以下简称"本公司")的客户使用。本公司不会因接收人收到本报告而视其为本公司的当然客户。本报告仅在相关法律许可的情况下发放,并仅为提供信息而发放,概不构成任何广告。
|
||||
|
||||
本报告的信息来源于已公开的资料,本公司对该等信息的准确性、完整性或可靠性不作任何保证。本报告所载的资料、意见及推测仅反映本公司于发布本报告当日的判断,本报告所指的证券或投资标的的价格、价值及投资收入可升可跌。过往表现不应作为日后的表现依据。在不同时期,本公司可发出与本报告所载资料、意见及推测不一致的报告。本公司不保证本报告所含信息保持在最新状态。同时,本公司对本报告所含信息可在不发出通知的情形下做出修改,投资者应当自行关注相应的更新或修改。
|
||||
|
||||
本报告中所指的投资及服务可能不适合个别客户,不构成客户私人咨询建议。在任何情况下,本报告中的信息或所表述的意见均不构成对任何人的投资建议。在任何情况下,本公司、本公司员工或者关联机构不承诺投资者一定获利,不与投资者分享投资收益,也不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任。投资者务必注意,其据此做出的任何投资决策与本公司、本公司员工或者关联机构无关。
|
||||
|
||||
本公司利用信息隔离墙控制内部一个或多个领域、部门或关联机构之间的信息流动。因此,投资者应注意,在法律许可的情况下,本公司及其所属关联机构可能会持有报告中提到的公司所发行的证券或期权并进行证券或期权交易,也可能为这些公司提供或者争取提供投资银行、财务顾问或者金融产品等相关服务。在法律许可的情况下,本公司的员工可能担任本报告所提到的公司的董事。
|
||||
|
||||
市场有风险,投资需谨慎。投资者不应将本报告作为作出投资决策的唯一参考因素,亦不应认为本报告可以取代自己的判断。在决定投资前,如有需要,投资者务必向专业人士咨询并谨慎决策。
|
||||
|
||||
本报告版权仅为本公司所有,未经书面许可,任何机构和个人不得以任何形式翻版、复制、发表或引用。如征得本公司同意进行引用、刊发的,需在允许的范围内使用,并注明出处为"国泰海通证券研究",且不得对本报告进行任何有悖原意的引用、删节和修改。
|
||||
|
||||
若本公司以外的其他机构(以下简称"该机构")发送本报告,则由该机构独自为此发送行为负责。通过此途径获得本报告的投资者应自行联系该机构以要求获悉更详细信息或进而交易本报告中提及的证券。本报告不构成本公司向该机构之客户提供的投资建议,本公司、本公司员工或者关联机构亦不为该机构之客户因使用本报告或报告所载内容引起的任何损失承担任何责任。
|
||||
|
||||
评级说明
|
||||
|
||||
投资建议的比较标准
|
||||
|
||||
投资评级分为股票评级和行业评级。
|
||||
|
||||
以报告发布后的12个月内的市场表现为比较标准,报告发布日后的12个月内的公司股价(或行业指数)的涨跌幅相对同期的沪深300指数涨跌幅为基准。
|
||||
|
||||
国泰海通证券研究所
|
||||
|
||||
地址上海市黄浦区中山南路888号
|
||||
@@ -0,0 +1,75 @@
|
||||
# 📊 文章摘要:KV Cache 缓存可卸载至 SSD:打破内存墙限制,AI SSD 迎来广阔成长空间
|
||||
|
||||
> **原文**:[2025-10-28_KV_Cache_缓存可卸载至_SSD_打破内存墙限制_AI_SSD迎来广阔成长空间.md](./2025-10-28_KV_Cache_缓存可卸载至_SSD_打破内存墙限制_AI_SSD迎来广阔成长空间.md)
|
||||
> **原文链接**:https://www.fxbaogao.com/detail/5116282
|
||||
> **来源**:发现报告(转载国泰海通证券研报)
|
||||
> **作者**:国泰海通证券
|
||||
> **发布日期**:2025-10-28
|
||||
> **摘要日期**:2026-08-06
|
||||
> **价值评级**:⭐ 低
|
||||
|
||||
---
|
||||
|
||||
## 核心命题
|
||||
|
||||
> **SSD 破墙** — KV Cache 卸载至 SSD 缓解"内存墙",打开 AI SSD 板块成长空间。
|
||||
|
||||
---
|
||||
|
||||
## 文章概要
|
||||
|
||||
国泰海通证券半导体行业快评,提出"推理 KV Cache 容量增长超出 HBM 承载能力,缓存可卸载至 CPU/SSD,AI SSD 迎来广阔成长空间"的投资观点。论据有二:英伟达今年 5 月发布的 Dynamo 框架支持 KV Cache 从 GPU 卸载到 CPU、SSD 甚至网络存储(KVBM 提供 G1—G4 四级卸载);三星在 2025 开放数据中心大会提出的 SSD 卸载方案显示,KV Cache 超容时 TTFT 最高降 66%、ITL 最高降 42%,支持多轮对话 KV 复用,主 I/O 模式为 256KB 读写。叠加 TrendForce 数据(HDD 供应缺口促使 NAND 厂商转产 122TB/245TB Nearline SSD),推导出 AI 存储需求红利。全文篇幅短、论据少,属题材驱动的投资线索而非深度研究。
|
||||
|
||||
---
|
||||
|
||||
## 关键要点
|
||||
|
||||
1. **内存墙与 KV Cache 超载** — Agentic AI 时代模型规模化、长序列与并发增长使 KV Cache 超出 HBM 承载,频繁内存溢出导致 GPU 反复重算 `[分类: 共识]`
|
||||
2. **分级卸载成为行业方向** — 英伟达 Dynamo/KVBM 支持 G1—G4(GPU 显存/CPU 内存/SSD/远端存储)四级 KV Cache 卸载;业界均在探索分级缓存管理 `[分类: 共识]`
|
||||
3. **三星 SSD 卸载的量化收益** — KV Cache 超容时 TTFT 最高降 66%、ITL 最高降 42%,多用户多轮对话下 KV 重用使 I/O 吞吐稳步上升 `[分类: 共识]`
|
||||
4. **HDD 缺口催化 NAND 转产** — 据 TrendForce,HDD 供应缺口激励 NAND 厂商投入 122TB、245TB 超大容量 Nearline SSD 生产 `[分类: 共识]`
|
||||
5. **投资结论与风险** — AI 推理需求推升实时存取与高速处理需求,AI SSD 供应商受益;风险提示为国产替代与技术迭代不及预期 `[分类: 争议]`
|
||||
|
||||
---
|
||||
|
||||
## 批判性分析
|
||||
|
||||
### 假设前提
|
||||
|
||||
假设 KV Cache 卸载至 SSD 会被行业大规模采用——而 HBM 扩容、CXL 内存池化、远端 DRAM 等替代路线可能分流需求;假设三星案例的收益数据可外推为 SSD 出货增长;假设 Nearline SSD 需求主要由 AI 推理驱动。
|
||||
|
||||
### 论据与逻辑
|
||||
|
||||
论据单薄:核心证据仅三星一个案例与 TrendForce 一条产业数据,且均为转述、无原始报告细节;从"存在卸载技术"到"AI SSD 广阔成长空间"之间缺少市场规模测算、渗透率假设与竞争格局分析,论证链存在明显跳跃。
|
||||
|
||||
### 边界与局限
|
||||
|
||||
属半导体行业快评,面向投资决策而非技术读者;未讨论卸载方案的延迟代价、网络带宽瓶颈与 Dynamo 生态成熟度等不确定性;风险提示仅两句格式化文字,未覆盖核心假设的证伪条件(如卸载路线被 CXL/远端 DRAM 取代)。
|
||||
|
||||
---
|
||||
|
||||
## 可引用金句
|
||||
|
||||
> "KV Cache缓存可从GPU内存offload至CPU、SSD。"
|
||||
|
||||
---
|
||||
|
||||
## 总体评价
|
||||
|
||||
**亮点**:
|
||||
- 用最短篇幅把"KV Cache 卸载"技术趋势与"AI SSD"投资主题挂钩,题材时效性好
|
||||
- 引用了英伟达 Dynamo 与三星方案这两个 2025 年最新行业动向,信息点有参考价值
|
||||
|
||||
**不足**:
|
||||
- 论据与论证深度不足,缺市场规模、供应链与竞争分析;未讨论替代技术路线
|
||||
- 风险提示流于形式;对技术方案的工作原理与代价说明甚少
|
||||
|
||||
**适用场景**:关注 AI 存储板块的投资者快速了解题材逻辑;作为"KV Cache 卸载"技术动向的新闻式线索,细节需另行核实。
|
||||
|
||||
**关联建议**:核实英伟达 Dynamo KVBM 官方文档与三星发布会原始数据;对比极客公园 Tair 方案(远端存储走 3FS 而非本地 SSD)理解技术路线分歧;查阅 TrendForce 原报告确认 Nearline SSD 供需数据。
|
||||
|
||||
---
|
||||
|
||||
## 配图
|
||||
|
||||
本篇文章为低价值,未生成配图。
|
||||
Reference in New Issue
Block a user