arno
c0ba3fb853
- 46 篇原文+摘要双文件归档（按 来源/作者 分层，复用本地归档 20 篇+新抓取 26 篇） - 即梦生成 9 组主题配图（大图+列表缩略图）存入 知识/金鹏/20260806/ - 章节重组为 9 个主题分组并挂接摘要引用
57 lines
8.3 KiB
Markdown
57 lines
8.3 KiB
Markdown
# 异构智算中心分布式PD分离推理技术的探索与实践
|
||
|
||
> **来源**：通信世界网
|
||
> **作者**：未知
|
||
> **发布日期**：2026-08-05（原文未标注，按下载日期）
|
||
> **原文链接**：https://www.cww.net.cn/article?id=604206
|
||
|
||
---
|
||
|
||
**通信世界网消息**（CWW）为应对大模型推理的海量算力需求，整合多智算中心资源实现分布式Prefill-Decode Separation（PD分离推理），成为突破单智算中心算力瓶颈的关键路径。但智算中心建设初期的协同规划缺失导致拓扑、硬件、协议等异构问题明显，制约了技术的有效普及。本文阐述了异构智算中心的形成背景与PD分离推理的技术优势，剖析了异构智算中心分布式PD分离推理技术面临的海量KV Cache（键值存储缓存）传输、跨中心资源调度与负载均衡、异构适配三大核心挑战，并梳理国内外在解决上述核心挑战方面的探索成果。此外，本文介绍了中国电信在该方面的探索与实践，展示了中国电信在OTN广域互联场景下，异构智算中心分布式PD分离推理的业务试验。通过分析该试验的性能结果，证明该技术可有效"盘活"存量算力，为大模型分布式推理的规模化部署提供技术参考与实践范式。
|
||
|
||
## 分布式PD分离推理技术的现实意义
|
||
|
||
近年来，人工智能大模型在自然语言处理、计算机视觉等领域取得了突破性进展。然而，大模型推理任务对算力的需求极为庞大，单个智算中心难以满足日益增长的业务需求。为应对这一挑战，分布式推理架构结合PD分离技术，将大模型推理任务的P阶段（Prefill）和D阶段（Decode）有效分离，成为高效推理的主流解决方案。
|
||
|
||
在大模型推理中，P阶段属于计算密集型，D阶段属于访存密集型，两者分别依赖GPU的计算核心与显存的带宽。当两阶段共用GPU服务器时，容易造成资源不适配，导致算力浪费；而PD分离可通过阶段专属优化，避免两阶段算力资源抢占，提升资源利用率，保障推理延迟的稳定性。
|
||
|
||
在大模型实际部署中，由于智算中心在建设时未充分考虑各中心间的协同规划，导致拓扑结构、传输协议、GPU硬件及集合通信库等多个方面异构显著。因此，异构智算中心分布式PD分离推理的技术探索极具现实意义。
|
||
|
||
## 分布式PD分离推理的技术挑战
|
||
|
||
### 分布式PD分离推理的固有挑战
|
||
|
||
一是海量KV Cache传输挑战。在分布式PD分离推理中，P阶段和D阶段分布在不同智算中心，要求KV Cache在不同物理节点间传输。此外，单推理请求KV Cache数据量较大，且推理任务请求常在智算中心中并行处理，这进一步加剧智算中心间链路带宽、时延以及可靠性压力。网络性能不足将严重影响推理体验，甚至抵消PD分离带来的效率收益。
|
||
|
||
二是资源池调度与负载均衡挑战。大模型分布式PD分离推理常配置任务调度器，在多个可选智算中心间选择最合适的资源池，同时承担负载监控、任务时长预测、KV Cache协同传输等任务，以实现全局最优资源分配。该需求导致调度器设计复杂度极高，优化性能与智能性面临巨大挑战。此外，多模型并发部署易引发智算中心资源竞争，导致部分智算中心资源紧张，出现过载；另一部分智算中心资源闲置，形成"孤岛"，导致整个网络资源利用率下降。因此，实时监测资源状态与流量变化并动态调整，成为维持系统性能的关键所在。
|
||
|
||
### 异构智算中心的衍生挑战
|
||
|
||
一是硬件与集合通信库适配挑战。异构智算中心常部署不同设备，引入差异化硬件架构、指令集与集合通信库，导致数据格式不兼容，跨智算中心任务通信效率低下甚至中断。例如，英伟达与昇腾GPU的集合通信库完全不同，在一般情况下无法通信。
|
||
|
||
二是协议转换挑战。RoCE（基于融合以太网的远程直接内存访问）、IB（无限带宽）等主流协议，与GSE（全调度以太网）、UEC（超以太网联盟）等新型协议在技术原理和设计目标上均存在差异，使得跨协议转换存在技术壁垒，异构智算中心难以高效协同。
|
||
|
||
## 业界探索
|
||
|
||
### 海量KV Cache传输优化
|
||
|
||
海量KV Cache传输的核心难点在于平衡传输效率与数据可靠性，该挑战可从硬件协议、软件编码和网络策略三个方面进行优化。在硬件协议方面，业界常采用IB/RoCE协议通过RDMA（远程直接内存访问）技术直接从内存抓取或存储数据，无需CPU参与，减少硬件接口交互，进而降低传输延迟。从软件编码方面入手，提出算法压缩KV Cache体积技术，以减少传输数据量。在网络策略方面，通过优化广域网络路由策略，利用多路径传输KV Cache数据。
|
||
|
||
### 算力资源调度与负载均衡优化
|
||
|
||
算力资源调度与负载均衡优化需要构建全局感知的智能调度系统，融合状态监控、预测算法与协同策略等不同模块。业界学者设计了两级分层数据中心调度程序Qin，将集群级与节点级调度算法整合，构建统一调度目标，缩短任务完成时间；还有学者提出升级后的调度程序Qin2，引入自动特征选择技术，精确预测任务负载，优化负载平衡效果；业界学者利用深度强化学习动态调整算力资源分布，实现算力资源高利用率与低损失率。
|
||
|
||
### 异构硬件与协议适配优化
|
||
|
||
异构硬件与协议适配优化须突破硬件兼容性与协议互通性瓶颈，关键技术包括统一通信接口与柔性协议转换。由于英伟达的硬件产品占据国际市场主导地位，业界并未过多关注该方向影响，导致相关研究较少。而国内因近年国产GPU崛起并快速占据市场，异构硬件协同需求强烈，但相关研究依然处于初期阶段。不过，"2024世界人工智能大会""2024数字科技生态大会"上亮相的异构芯片混训方案，标志着该领域研究逐步深入。
|
||
|
||
## 中国电信对异构智算中心分布式PD分离推理的探索
|
||
|
||
2025年7月，中国电信开展异构智算中心PD分离推理拉远验证组网，选取英伟达、沐曦两家厂家GPU，基于DeepSeek-R1蒸馏模型验证异构远距离协同推理的可行性。该试验不断调整输入、输出序列的长度、并发速率等参数，获取TTFT、TPOT、Throughput等性能指标，寻找不同推理任务的最优推理状态。同时，该试验将OTN拉远距离从200km延伸至800km，并使用损伤仪造成丢包引发RDMA重传，以此模拟真实网络环境。在该环境中，试验通过将出口带宽收敛比逐步扩大至64:1，配合ECN/PFC（网络拥塞管理）流控机制，进行长距离、低链路带宽的异构智算中心PD分离推理极限性能探索。
|
||
|
||
经过推理参数和网络参数的不断调整与组合，在OTN广域互联情况下，试验得到了异构GPU间PD分离推理性能的变化规律，为今后现网部署提供了可靠的数据支撑。此外，试验结果也表明，异构智算中心PD分离推理方案可行，在无损网络低延迟、高吞吐的环境下，可保证带宽收敛比64:1、万米级长距传输性能均达到本地同推理场景的99%，充分满足推理服务的性能要求。而随着进一步网络质量下降、拉远距离增大、收敛带宽增加，性能指标下降可控制在1%～5%。该结论可在一定程度证明，在保障推理性能的前提下，异构智算中心分布式PD分离推理方案可实现异构存量算力的"盘活"。
|
||
|
||
## 结语
|
||
|
||
异构智算中心分布式PD分离推理作为一种新兴技术，为解决大模型推理面临的算力挑战提供了新思路。尽管在实践过程中面临着KV Cache传输、算力资源调度与负载均衡、异构适配等诸多挑战，但国内外均已进行了一定的研究和探索。中国电信的试验验证为业界提供了宝贵的经验，证明了该技术的可行性，可满足推理服务的资源与性能要求，实现现网异构存量算力的盘活。未来，随着技术的不断进步和创新，以及硬件标准化、协议统一化及算法智能化的升级，异构智算中心分布式PD分离推理技术有望在更多领域得到应用，为人工智能的发展提供更强大的支持。
|