arno
c0ba3fb853
- 46 篇原文+摘要双文件归档（按 来源/作者 分层，复用本地归档 20 篇+新抓取 26 篇） - 即梦生成 9 组主题配图（大图+列表缩略图）存入 知识/金鹏/20260806/ - 章节重组为 9 个主题分组并挂接摘要引用
82 lines
4.3 KiB
Markdown
82 lines
4.3 KiB
Markdown
# 📊 文章摘要：LLM关于PD分离的最新实测
|
||
|
||
> **原文**：[2025-06-22_LLM关于PD分离的最新实测.md](./2025-06-22_LLM关于PD分离的最新实测.md)
|
||
> **原文链接**：https://zhuanlan.zhihu.com/p/1919794916504114120
|
||
> **来源**：知乎
|
||
> **作者**：akaihaoshuai
|
||
> **发布日期**：2025-06-22
|
||
> **摘要日期**：2026-08-06
|
||
> **价值评级**：⭐⭐⭐ 高
|
||
|
||
---
|
||
|
||
## 核心命题
|
||
|
||
> **实测边界** — 给出 PD 分离生效的量化阈值与工程落地经验，并指出其核心是 cache 调度。
|
||
|
||
---
|
||
|
||
## 文章概要
|
||
|
||
作者基于 vLLM/sglang 的 PD 分离实测，给出 9 条工程结论：PD 分离仅在超长上下文+大模型+高并发下收益明显（至少输入>8k、输出>100、并发>10、模型>32B），吞吐提升 20%~50%，且优化的是 TBT 而非 TTFT；P/D 配比 3P1D 较优、1P2D 更佳；prefill 可用 4090 这类"算力够、带宽差"的卡做异构部署。文章还逐一代码剖析了 SharedStorageConnector、P2pNcclConnector、LMCacheConnector、NixlConnector 与 sglang 的 PD 分离实现，并给出可直接复用的启动脚本。价值在于把 PD 分离从概念落实到"选型边界"，并明确指出普通场景没必要折腾。
|
||
|
||
---
|
||
|
||
## 关键要点
|
||
|
||
1. **收益有明确阈值** — 至少输入>8k、输出>100、并发>10、模型>32B 左右才有效果；超长上下文+大并发下 TBT 可保持稳定，吞吐提升 20%~50% `[分类: 共识]`
|
||
2. **PD 分离优化 TBT 而非 TTFT** — 且 prefill 卡减少（如 TP2 变 1P1D）会导致大 bs、长输入时 TTFT 变长 `[分类: 共识]`
|
||
3. **P/D 配比反直觉** — 2P2D 一般不太行、3P1D 差不多；因 prefill 只执行一次而 decode 要很多遍，1P2D 更能提升整体资源利用率 `[分类: 争议]`
|
||
4. **核心在于 cache 调度** — request 调度不能只考虑负载均衡，还要考虑 cache 复用率、显存剩余空间等 `[分类: 共识]`
|
||
5. **传输方式决定 TTFT 损耗** — GPU 传输（NCCL）最快、基本保持原 TTFT，CPU/disk 传输都会使 TTFT 变慢；NCCL 初始化即固定全部 GPU、不适合动态扩缩容，Mooncake 统一多种传输方式，Dynamo 重新封装 nixl 协议 `[分类: 共识]`
|
||
6. **异构框架最大化性价比** — 4090 算力约为 A/H 系列 30%~50% 但带宽不足 10%，非常适合 prefill 阶段；高带宽 GPU 做 decoding `[分类: 共识]`
|
||
7. **分离后的固有资源短板** — Prefill server 带宽利用率低、decoder server GPU 利用率低，是 PD 分离需要接受的代价 `[分类: 共识]`
|
||
|
||
---
|
||
|
||
## 批判性分析
|
||
|
||
### 假设前提
|
||
|
||
假设读者具备 vLLM/sglang 使用经验；测试环境为作者自有的 GPU 集群，结论依赖具体模型（Qwen 系列）与负载形态，阈值未必能直接外推到其他硬件组合。
|
||
|
||
### 论据与逻辑
|
||
|
||
结论来自一手实测与源码阅读，可信度高；但未披露完整测试环境与数据细节，"20%~50%"为区间估计，缺少逐项实验数据表，难以复现验证。
|
||
|
||
### 边界与局限
|
||
|
||
作者明确给出适用边界——"能单卡跑的没必要多卡，能单机承载的没必要多机"；结论在短上下文、小模型、低并发场景不适用，且 PD 分离本身会引入 P/D 两侧资源利用率失衡的新问题。
|
||
|
||
---
|
||
|
||
## 可引用金句
|
||
|
||
> "PD分离的核心其实在于cache的调度。"
|
||
|
||
> "能单卡跑的没必要多卡，能单机承载的没必要多机。"
|
||
|
||
---
|
||
|
||
## 总体评价
|
||
|
||
**亮点**：
|
||
- 9 条实测结论量化了收益边界，反直觉结论（1P2D 优于 2P2D）有工程指导价值
|
||
- 四种 KVConnector 的代码级对比透彻，启动脚本可直接复用
|
||
- 异构硬件（4090 做 prefill）观点对成本敏感团队极有参考价值
|
||
|
||
**不足**：
|
||
- 测试环境与数据细节披露不足，结论难以严格复现
|
||
- 对 sglang 与 Mooncake 的介绍偏向代码流程转述
|
||
- Dynamo/nixl 章节与"实测"主题关联度略松散
|
||
|
||
**适用场景**：推理服务工程师做 PD 分离技术选型与落地；需要判断"我的场景该不该上 PD 分离"的团队；预算有限、考虑异构卡部署的团队。
|
||
|
||
**关联建议**：结合极客博哥《LLM PD 分离背后的架构问题》对照架构决策维度；阅读 Mooncake 论文与 vLLM disaggregated serving 官方文档；跟踪 Dynamo 框架演进。
|
||
|
||
---
|
||
|
||
## 配图
|
||
|
||
|