文档(金鹏): 2026-08-06 章节 48 篇文章摘要归档

- 46 篇原文+摘要双文件归档(按 来源/作者 分层,复用本地归档 20 篇+新抓取 26 篇)
- 即梦生成 9 组主题配图(大图+列表缩略图)存入 知识/金鹏/20260806/
- 章节重组为 9 个主题分组并挂接摘要引用
This commit is contained in:
2026-08-06 18:00:50 +08:00
parent aa585542d1
commit c0ba3fb853
111 changed files with 13271 additions and 0 deletions
@@ -0,0 +1,346 @@
# 美国镜鉴:当AI浪潮遭遇政治反弹
> **来源**:微信公众平台
> **作者**CF40研究部
> **发布日期**2026-07-28
> **原文链接**https://mp.weixin.qq.com/s/OLxrS_jzJqz0z6bKIJMsfA
---
[图片]
"
在AI技术以前所未有的速度扩张之际,对AI的政治反弹力量也在同步积蓄,这一现象在美国等发达经济体中尤为突出。正如《华尔街日报》所评,当前唯一比AI产业增长更快的,可能就是美国人对AI的负面情绪。尽管AI尚未造成全面的宏观就业冲击,围绕岗位替代、技能与数据控制、科技巨头权力边界以及数据中心资源消耗的社会争议,却已迅速升温。
本文首先回顾工业革命、铁路革命和计算机革命中对技术的政治反弹,梳理反抗对象如何从机器、垄断企业逐步转向选举政治;随后分析当前美国国内,对AI的政治反弹的三条战线——劳动保护、科技巨头权力与地方资源冲突;最后考察左右翼民粹力量对反"科技寡头"叙事的整合,梳理建制派与AI企业在就业补偿、收益分享、安全监管和社区成本分担方面的回应,并探讨对AI的政治反弹进入美国全国性选举议程的条件及其对AI产业的潜在影响。
* 原文《当AI浪潮遭遇政治反弹》在2026年7月28日首发于CF40 APP,内容略有删减。本文观点仅供了解海外研究动态,不代表中国金融四十人论坛和中国金融四十人研究院意见和立场。
"
______[图片]______
历史上对技术的政治反弹:
从破坏机器到诉诸选票
历史经验表明,技术革命能否获得社会支持,不仅取决于其长期创造多少收益,还取决于收益与成本如何分配,以及制度能否在损失固化之前为受冲击者提供补偿和转型通道。
当技术直接替代劳动、损失集中于特定群体时,反抗容易指向机器;当企业借助技术控制市场入口时,矛头会转向垄断企业;当冲击长期而分散、又得不到制度缓解时,积累的不满则可能经由政治动员进入选举。
______1. 工业革命初期:替代型技术引发对机器的直接反抗______
牛津大学经济学家卡尔·弗雷指出,赋能型技术通常能够提高劳动者的生产率、创造新任务并增加收入,因而较容易得到接受;替代型技术却可能导致既有技能贬值、工资下降和议价能力削弱,因此更容易引发抵制。换言之,公众并不是笼统地支持或反对技术,而是根据技术对自身收入和经济地位的影响形成态度[1]。
工业革命初期正是这种矛盾的典型案例。纺织机械和机械化工厂显著提高了生产率,却主要以替代劳动的方式投入使用,其收益也没有立即转化为劳动者收入。经济史学家罗伯特·艾伦将这一时期生产率增长与劳动者收入停滞并存的现象称为"恩格斯暂停"Engels' Pause)。按照他的估算,1780-1840年间,英国每名工人的产出增长约46%,实际工资却仅增长约12%,利润率则大致翻倍。直到1840年以后,随着蒸汽动力的广泛采用和机器的复杂化,工厂对高技术工人需求增加,工人的实际工资才开始更明显地追赶生产率增长[2]。
在生产率收益主要流向资本所有者的同时,机械化首先冲击了手工织工等特定群体的岗位、工资和技能价值,由此引发卢德运动[3]。卢德分子通过大规模破坏纺织机器、组织抗议和向议会请愿,要求限制直接替代劳动者的技术应用。行动最终因政治影响力有限和政府镇压而失败。但该运动表明,当技术损失集中落在特定劳动群体身上,而收益尚未广泛扩散时,对机器的直接反抗更容易发生。
______2. 铁路革命:反抗对象指向基础设施垄断______
如果说卢德运动针对的是技术对劳动的直接替代,铁路时代的反抗则指向企业借助技术形成的基础设施控制权。19世纪下半叶的美国,铁路迎来了飞速发展期,铁路降低了运输成本、扩大了全国市场,却也让铁路公司及其合作的粮仓经营者垄断了定价权和农产品进入市场的关键通道。缺乏替代运输渠道的农民往往需要承担更高运费和粮仓的存储费。
在农产品价格下跌、债务负担上升和货币紧缩的背景下,面对高昂的运输和仓储成本,美国中西部的大量农民濒临破产。由农民发起的格兰杰运动推动多个州限制铁路和粮仓收费,并促成1887年《州际商务法》和州际商务委员会的建立,标志着美国政府开始介入并约束大型托拉斯与铁路垄断巨头。19世纪末美国的民粹政党人民党又进一步提出铁路监管、累进所得税、农业信贷和货币改革等主张。尽管人民党最终垮台,但其许多政策主张都被随后的民主党政府所吸纳[4]。
农民反对的不是铁路本身,而是铁路公司利用基础设施控制权决定谁能进入市场、谁承担更高成本。当新技术成为难以替代的市场入口时,反弹力量便可能由抵制设备转向反垄断和公共监管。
______3. 20世纪工业化:分享技术红利一度缓和反弹______
并非所有技术革命都会引发同等强度的反弹。20世纪的电气化、汽车和大规模生产虽然淘汰了一些职业,却也创造了大量半熟练制造业、设备维护和办公室岗位。制造业持续扩张和教育普及,使多数被替代者能够转入工资更高、危险程度更低的岗位。1870—1980年间,美国劳动生产率与工人实际报酬总体同步增长,没有再次出现工业革命初期的 "恩格斯暂停"现象[5]。
制度建设进一步缓和了技术调整的成本。1910—1920年代兴起的企业福利资本主义,通过提高工资、提供医疗和养老金等方式,将部分生产率收益返还给工人。大萧条以后,罗斯福新政又以《瓦格纳法》确立工人组织工会和集体谈判的权利,并通过最低工资、四十小时工作周和加班工资等制度改善劳动条件;战后福利国家、工会和集体谈判进一步为失业和职业转换提供缓冲。劳动者的诉求因此逐渐由阻止机器转向接受机械化,同时争取工资、福利、培训和补偿。
这一时期说明,技术革命并不必然导致强烈反弹。只要新技术能够创造替代岗位,生产率红利能够转化为工资和福利,制度又能分担转型成本,劳动者就更可能接受甚至拥抱技术进步。
______4. 计算机革命与全球化:自动化焦虑转入选举政治______
20世纪80年代以后,计算机开始大量替代流水线生产、文书处理和基层行政等程序化、重复性较强的工作,同时提高专业人员和管理者等高技能劳动者的生产率。有学者将这一变化概括为"就业极化":支撑战后中产阶层的制造业和文职岗位不断减少,新增就业则更多集中在高薪专业岗位和低薪服务业[6]。技术进步带来的收益更多流向资本所有者和高技能劳动者,许多没有大学学历的劳动者只能转向工资更低、稳定性更差的服务业。
全球化进一步加剧了这种分化。自动化减少了工厂对普通劳动力的需求,产业外迁和进口竞争则加快了传统制造业中心的衰落。冲击尤其集中在"锈带"等工业地区,不仅造成制造业岗位流失,还拖累当地服务业、削弱税基和公共服务,使许多社区长期难以恢复[7]。
蓝领工人失去的也不只是收入。稳定的制造业工作曾使没有大学学历的劳动者也能维持中产生活,获得家庭和社区地位。随着工厂关闭、职业上升通道收窄,经济失落逐渐转化为尊严受损、身份下降以及被精英抛弃的感受[8]。
与卢德运动不同,这种不满并未主要表现为破坏机器,而是逐渐进入选举政治。自动化过程缓慢而分散,难以找到明确的归责对象;相比之下,工厂外迁、进口商品和移民更容易被政治化。因此,部分由技术变迁造成的经济压力,最终转化为贸易保护、反移民和反精英诉求。
研究发现,在控制贸易冲击、产业结构等因素后,机器人使用较多的美国地区,2016年大选对特朗普的支持增幅也更大[9]。计算机革命由此形成了一条清晰的政治传导链:蓝领制造业岗位流失、工业社区衰退和工人社会地位下降,共同为民粹主义兴起提供了社会基础。
______[图片]______
对AI政治反弹的三条战线:
劳动、企业权力和地方资源
与历史上对技术的政治反弹相似,当前AI引发的争议并非对技术本身的笼统拒绝,而是由岗位替代、收益集中和企业转嫁扩张成本引发的利益冲突。劳动者担心失业和技能贬值,中小企业和普通公众担心少数科技企业控制算力、模型和市场入口,地方居民则反对数据中心将电力、水和土地成本转嫁给社区。这三条战线分别围绕劳动保护、科技巨头权力和地方社区资源冲突展开,虽然尚未形成目标统一的运动,却可能共同转化为对科技巨头及现有分配制度的不满。
______1. 保卫劳动:岗位、技能与补偿之争______
劳动领域正在出现一种新的"卢德主义式"反抗。其核心诉求是反对企业单方面利用AI取消岗位、复制劳动者技能并削弱其议价权,要求劳动者参与AI部署,并获得就业保障、合理补偿和技术红利。与此前主要冲击工厂和常规性岗位的自动化不同,生成式AI可以直接处理编程、写作、配音、设计和客户服务等认知任务,使这种反抗迅速蔓延至白领、创意劳动者和刚刚进入就业市场的青年。
尽管宏观就业尚未因AI全面收缩,民众的悲观情绪已经提前形成。进步派政治数据与民调机构蓝玫瑰研究(Blue Rose Research)的调查显示,79%的美国选民担忧政府没有应对AI失业的计划,77%担心旧行业消失快于新行业诞生,72%担心AI压低普通人的工资[10]。在硅谷和年轻白领群体中,人们越来越担心那些无法从AI中获益的人会沦为缺乏经济筹码的"永久底层阶级(permanent underclass"[11]。
年轻一代的恐慌尤为剧烈。哈佛民调发现,59%的18—29岁美国人认为AI威胁自己的就业前景,41%担心AI会使工作失去意义[12]。这种不安并非完全脱离现实:斯坦福数字经济实验室发现,生成式AI普及后,在高AI暴露职业中(如软件开发、客户服务),22至25岁的早期职业者就业人数相对下降了16%;相比之下,受影响较小领域的员工以及同一职业中经验更丰富的员工,其就业情况保持稳定或持续增长[13]。
图1:按不同年龄组劳动者划分的就业指数
[图片]
就业焦虑正在由个人担忧转化为集体行动。具体而言,当代"卢德式"反抗主要争夺以下权利:AI部署前的协商权、对自身技能和数据的控制权,以及技术替代后的保障和补偿权。
在AI部署环节,劳动者要求将AI部署纳入劳资协商。因企业未能提供明确、可执行的AI保护条款,美国电子游戏演员自2024年7月起举行罢工[14]。2026年6月,韩国现代汽车工会把人形机器人的引入列入劳资谈判,要求企业在部署前取得工会同意,并承诺不得以机器人为由单方面裁员、降薪或恶化工作条件[15]。
劳动者也开始争夺自身技能及其数字化载体的控制权。2026年初,英国演员投票拒绝未经保障的数字全身扫描[16],德国配音演员则拒绝签署允许Netflix将录音用于AI训练的合同[17]。同年5月,Meta员工因担心数据被用于复制和替代劳动力,联署反对公司在员工电脑上安装鼠标追踪软件、收集员工工作流程数据[18]。
当AI扩张已经伴随实际裁员时,劳动者开始要求企业提供就业保障和补偿。2026年4月,在甲骨文大规模裁员同时加大AI投入后,超过600名被裁员工联名要求公司提高遣散费、延长医疗保障、加速股权归属[19]。
劳动者的诉求也开始从防止岗位损失延伸至分享AI红利。全球AI投资推高存储芯片需求,给三星电子带来巨额利润,但工人认为企业没有让劳动者充分分享这轮繁荣。2026年4月,约4万名韩国三星工人举行集会,抗议公司的奖金分配方案,要求取消奖金上限,并将更多营业利润纳入员工奖金池;在谈判陷入僵局后,超过4.5万名工人一度准备举行18天罢工[20]。
部分行动已经迫使企业让步。美国电子游戏演员经过近一年的罢工,于2025年7月将AI复制声音、形象和动作所需的知情同意、用途披露和报酬机制写入集体合同[21]。面对员工抵制,Meta缩减了数据收集项目,后因数据安全问题将项目暂停[22]。经过五个月的劳资争议,三星同意将半导体业务营业利润的10.5%用于不设上限的特别奖金,使劳动者更直接地分享AI繁荣带来的企业收益,原定罢工随之取消[23]。
不过,英国演员、德国配音演员、韩国现代汽车工会、甲骨文被裁员工的行动仍处于施压或谈判阶段。总体来看,劳动者对AI的反抗已经开始从抽象的失业担忧转向具体的协商权、数据权、就业保障和利润分享,但成果仍主要集中在工会力量较强、替代风险较直接的行业,尚未形成普遍适用的制度保障。
______2. 约束科技巨头:数据产权与规则制定权之争______
与19世纪铁路巨头凭借运输网络决定谁能进入市场、支付多少费用相似,今天的少数大型科技企业能够大规模集中社会数据,并将公共知识和创作者劳动转化为私人资产。更重要的是,由于监管机构难以独立了解模型能力、训练过程和潜在风险,AI企业还在安全标准、风险评估和信息披露等规则制定中占据明显优势。公众争论因此从"是否发展AI"进一步转向:谁有权占有训练数据,以及谁有权制定安全和监管规则。
公众对企业自我监管和政府约束科技巨头的能力都缺乏信心。皮尤研究中心的调查显示,67%的美国成年人对美国政府"有效监管AI"信心不大或毫无信心[24];同样,盖洛普(Gallup)民调发现,高达69%的美国人对企业能否负责任地使用AI持"不太信任"或"完全不信任"的态度[25]。2026年5月,CBS与YouGov的调查显示,78%的美国成年人认为AI企业推广AI是为了扩大自身权力[26]。Blue Rose Research的调查还显示,55%的美国选民认为科技公司应为AI造成的岗位损失承担财务责任,49%的美国选民支持对从AI中获利最多的企业征收专项税[27]。对企业权力的警惕正在与财富分配不满结合起来。
对AI巨头的反抗首先表现为训练数据的产权争夺。作家、艺术家、出版商、媒体和音乐公司相继对AI企业发起侵权诉讼,反对企业未经许可获取作品、建立训练数据库,再将由社会知识和创作者劳动形成的模型能力转化为私人资产。作者群体起诉Anthropic,指控其下载和保存盗版图书用于训练Claude[28];出版商则起诉谷歌,指控其将原本为其他服务获取的图书用于Gemini训练[29]。这里争议的不只是创作者能否获得报酬,更涉及科技企业能否凭借资金和技术优势,将分散在社会中的知识资源无偿集中到自己的模型之中。
针对AI资本直接介入选举并影响监管规则,民间组织也开始采取行动。由科技企业高管和投资者支持的"引领未来"Leading the Future)政治组织网络已筹集超过1.4亿美元,通过多个超级政治行动委员会,支持反对严格州级AI监管的候选人[30]。对此,科技监督、儿童网络安全、残障权益和AI安全等领域的14家民间组织联合呼吁获得其背书的民主党议员和候选人公开拒绝这一支持[31]。美国竞选法律中心(Campaign Legal Center)也向联邦选举委员会提出投诉,指控"引领未来"网络内的两个超级政治行动委员会——American Mission和Think Big——通过新设公司转付竞选费用,隐瞒实际供应商,涉嫌规避联邦支出披露要求[32]。这些组织反对的并非一般政治捐款,而是科技巨头一边宣称拥抱监管,一边利用资金影响立法,使监管规则更符合自身利益。
极少数反抗已经越出诉讼和政策倡议的范围,转化为针对企业及其高管的暴力攻击。2026年4月,一名20岁男子被控向OpenAI首席执行官山姆·奥特曼位于旧金山的住宅投掷燃烧瓶,他曾发文指责AI高管是"拿孩子们的未来进行赌博"的反社会者。两天后,奥特曼的住宅再次遭遇暴力升级,两名袭击者向其大门开枪。
这些事件尚不能证明美国已经出现组织化的反AI暴力运动,却表明部分个体开始把对技术失控、就业替代和企业权力的恐惧,集中投射到少数科技高管身上。这种激进化趋势已促使美国国土安全部和FBI等执法部门发出警报,将"反科技暴力极端主义"列为一种正在崛起的新型威胁[33]。
针对AI巨头的部分行动已经取得实质性成果。Anthropic与作者群体达成的15亿美元和解于2026年7月获得法院最终批准,成为美国已知金额最大的版权和解[34]。相比之下,关于AI监管与规则制定权的博弈依然胶着。尽管美国选民对科技寡头的警惕日益高涨,但面对游说集团的庞大财力以及"输掉AI竞赛"的国家安全叙事,针对AI的联邦级严厉监管与专项税仍停留在政治倡议阶段,公众要从科技巨头手中夺回技术控制权仍面临漫长的拉锯战。
______3. 保卫地方社区:资源成本与审批权之争______
模型训练和运行依托的数据中心需要大量电力、水资源和土地,科技企业可以面向全国乃至全球市场获取收益,电价上涨、电网压力、噪声污染和土地占用等成本却正在由项目所在地居民承担。公众争论由此从"是否发展AI"转向数据中心建在哪里、谁承担资源和环境成本,以及地方社区能否参与决策。
美国民众对数据中心的态度在不到一年内发生了剧烈反转。Heatmap的追踪调查显示,2025年9月,美国人对在本地建设数据中心总体持正面态度(支持率比反对率高2个百分点);到2026年5月,支持率已降至21%,反对率升至71%,而且同时覆盖两党选民[35]。盖洛普同期调查也显示,71%的美国人反对在当地建设AI数据中心,其中48%强烈反对。反对者中,50%提到电力、水和土地等资源消耗,22%担心生活质量、住房和社区环境受到影响[36]。
图2:美国不同党派选民对AI数据中心的立场
[图片]
来源:Gallup
当地居民对数据中心的抵制源于其收益与成本在科技企业和社区之间的日益失衡。美国智库新泽西政策透视(NJPP)指出,数据中心是2025年6月新泽西州居民电费上涨20%的主要推手[37];密歇根大学福特公共政策学院科技与公共政策项目的研究也发现,自Switch数据中心投入建设以来,密歇根州居民电价累计上涨25%,比全美平均水平高17%[38];与此同时,在普通人承担更高电费的同时,数据中心却可通过大宗购电协议获得更优惠的电价。
这种不公平感又因有限的就业增长而加剧。科技公司在游说地方政府时,通常会以"创造就业机会"来换取对数据中心项目的税收减免和土地特批。然而现实证明,大多数数据中心的就业主要集中在建设阶段,建成后仅需20至50人运营,这些职位往往由外包人员填补,缺乏工会保护、福利和职业安全感,难以为当地居民提供与资源投入相匹配的长期就业机会[39]。
对数据中心的抵制已经从单个项目的听证会和请愿,发展为全国性社会动员。2026年7月,保守派团体HumansFirst联合环保组织和地方社区,在全美42个州组织了142场抗议,要求披露项目真实的用电和用水规模,保障居民参与审批,并防止家庭用户通过电费和公共财政为科技企业埋单。参与者横跨保守派地方团体和自由派环保组织,反映数据中心正在成为少数能够跨越党派界限的反科技巨头议题[40]。
地方反对已经开始直接影响AI基础设施建设。据数据中心项目跟踪组织Data Center Watch统计,仅2026年第一季度,美国就有至少75个、总值约1300亿美元的数据中心项目因地方反对而被取消或延期,规模大致相当于2025年全年[41]。纽约州对耗电50兆瓦以上的新建超大规模数据中心实施一年暂停,成为美国首个采取州级全面暂停措施的州[42];伊利诺伊州也从2026年7月起暂停向新数据中心提供税收优惠[43]。这一压力也传导至欧洲。苏格兰民族党全国委员会已经通过冻结新建数据中心的动议,并提交苏格兰政府考虑。动议估算,正在规划的24个超大规模数据中心,其总用电需求可能达到苏格兰峰值负荷的1.5倍[44]。
总体来看,围绕数据中心的反抗已经由单个项目周边的噪声、用水和电费争议,发展为对项目审批权和成本分担方式的政治争夺。数据中心不再只是支撑AI运行的技术设施,而成为AI收益与物理成本如何在科技企业和地方社会之间分配的集中体现。
______[图片]______
走向选票的怒火:
对AI的反弹
从社会焦虑走向政治动员
社会焦虑只有被政治力量转化为明确的利益冲突,才会形成真正的政治反弹。当前,民粹力量正把分散的就业焦虑、企业权力垄断和地方资源不满,整合为"科技巨头获利、普通民众买单"的叙事,使AI争论从技术进步转向谁控制技术、谁承担成本、谁分享收益。左右翼民粹力量虽然构建了不同叙事,却共同将矛头指向科技寡头,迫使建制派在推动AI发展的同时加强补偿和成本约束。对AI的反弹由此正从社会情绪走向政策竞争,并可能成为下一轮选举的重要议题。
______1. 共同的敌人:左右翼民粹如何塑造"科技寡头"______
AI议题尤其容易被民粹力量动员,因为其受益者高度集中且容易识别——少数科技巨头及其亿万富翁创始人;其成本却分散在就业、电费、水资源、地方财政和财富分配等不同领域。左右翼民粹力量正在做的,正是把这些原本彼此分离的不满,压缩成"科技寡头获利、普通人买单"的共同叙事。
__左翼民粹将AI纳入资本与劳动之间的分配冲突。__在这一叙事中,AI并不是凭空产生的私人财富,而是建立在公共科研投入、全社会积累的知识以及大量创作者和劳动者提供的数据之上。科技企业利用这些公共资源训练模型,却把利润留给股东,把裁员、技能贬值和职业转型成本留给劳动者。因此,AI问题被重新表述为:谁拥有技术、谁分享收益、谁承担转型代价。
参议员伯尼·桑德斯、纽约州民主党众议员亚历山德里娅·奥卡西奥-科尔特斯(AOC)等激进左翼正围绕劳动保护、公共所有和社区控制展开政治动员。针对AI和自动化可能替代大量岗位,桑德斯提出不减薪的32小时工作制、"机器人税"、工人董事席位和员工持股,使劳动者分享生产率收益并参与企业决策[45]。他还提出《美国AI主权财富基金法案》,拟对大型AI企业征收一次性50%的股权税,让公众获得投票权、董事会席位和分红[46]。桑德斯与AOC共同推动《AI数据中心暂停法案》,要求在建立劳动、环境和安全保障前暂停数据中心扩张,防止企业将电力和资源成本转嫁给社区[47]。二人的动员逻辑都要求资本承担成本、劳动者分享收益、公众参与决定AI的发展方向。
与此同时,这套针对"科技寡头"的叙事已不再局限于激进左翼,而是逐步进入民主党的全国性竞选话语。斯坦福大学政治经济学教授安德鲁·霍尔分析约28万封政治筹款邮件发现,2026年民主党实质讨论AI的邮件仍只占0.7%,但已是上年的三倍;在73封相关邮件中,63封把AI描述为威胁,其中26%将其与金钱、寡头和腐败联系起来,直接讨论就业和自动化的邮件占12%[48]。这种迹象表明,AI正在成为民主党重新讲述阶级冲突的新载体。
__右翼民粹则将AI纳入工作尊严、传统家庭与地方共同体对抗科技精英的叙事。__在这套叙事中,AI不是单纯提高效率的工具,而是由硅谷"科技男爵"主导的社会改造工程:企业获得利润和权力,却将失业、儿童安全风险以及电力和水资源成本留给工人、家庭和小城镇。工作也不只是收入来源,而是个人尊严、家庭责任和社会地位的基础,因而无法通过全民基本收入简单补偿。AI问题因而变成:究竟由科技精英按照利润逻辑塑造社会,还是由普通公民重新取得对技术及其社会影响的控制权[49]。
史蒂夫·班农和共和党参议员乔什·霍利分别代表了这种主张的激进与制度化版本。班农将大型AI企业视为威胁国家主权和普通公民的科技寡头,主张迫使其交出50%的股权并分配给美国公民,让公众直接分享AI收益[50]。霍利则把政治动员落实为就业、家庭和地方保护:要求企业披露因AI造成的裁员,提出《GRID法案》,要求数据中心自备电源、不得把扩网成本转嫁给居民;并通过《GUARD法案》追究诱导未成年人从事性行为或自残的AI企业责任[51]。
在反对科技寡头垄断AI权力与收益方面,左右翼正在形成罕见共识。地方层面,双方都要求数据中心承担电网、用水和社区成本;国家层面,双方都开始接受公众应当分享AI资本收益的原则。但这种共识尚未形成统一的政策联盟:左翼更希望通过税收、工会参与和公共持股改变所有权结构,右翼更强调保护就业、企业自担成本和地方否决权。
______2. 有限的补偿:建制派如何维持AI加速______
面对不断上升的政治压力,AI企业和建制派的主要回应并不是放慢技术部署,而是通过补偿重新取得AI扩张的社会许可。其基本思路是:继续维持美国在AI竞争中的领先地位,同时用就业保障、收益分享、最低限度的安全护栏、社区补偿降低技术革命的政治阻力。
第一类回应针对失业焦虑。AI企业和建制派并未主张放慢技术部署,而是试图通过缩短工时、扩大社会保障和创造公共服务岗位,降低自动化的转型成本。OpenAI在《智能时代的产业政策》中提出带有"新政"色彩的方案,包括推行不减薪的32小时工作制、设立类似贸易调整援助的"自动化调整援助计划",并在AI造成明显就业冲击时提供额外失业保障[52]。
Anthropic主张根据AI造成的失业程度建立分级响应机制:短期加强就业监测和失业保障,并通过资本账户、工资保险和培训补贴帮助劳动者转型;若AI导致大规模、长期失业,则转向对AI资本收益征税、设立公共财富基金和基本收入,让公众分享AI红利[53]。国会立法者则主张在不减缓美国AI发展的前提下,通过转型基金、再培训、失业保障、税收减免和针对性监管,补偿受冲击劳动者并帮助其适应就业转型[54]。
第二类回应是让公众分享AI企业的资本收益。与传统的税收转移和失业救济相比,AI企业和政府开始提出让公众直接分享AI资本收益。OpenAI建议建立公共财富基金,由政策制定者和AI公司共同为该基金提供种子资金,通过投资AI公司及广泛采用AI的企业,让每个公民都能获得AI经济增长的股份[55]。政府层面,有消息称特朗普政府正在探讨在AI企业上市前取得少数股权,并将投资收益用于公共支出或全民分红;韩国政府官员则直接要求科技企业与供应商和员工分享AI超额利润。
第三类回应针对公众对AI失控和企业自我监管的不信任。加利福尼亚、得克萨斯和犹他等州率先通过立法,要求企业披露安全措施,限制高风险应用,并加强对聊天机器人等直接面向公众产品的监管;国会中间派则主张建立前沿模型测试、安全事件报告和风险披露制度。尽管州政府和国会不断提出更严格的监管要求,联邦层面的政策重心仍是通过设置最低限度的安全护栏维持美国在全球AI竞争中的领先地位。联邦政府和AI企业更倾向于依靠自愿审查、行业标准和有限的信息披露,并反对各州分别制定严格规则,以免增加企业合规成本、拖慢技术部署。
第四类回应针对数据中心与地方社区的冲突。联邦政府主要通过自愿承诺和立法规范,要求AI企业自建或购买新增电力、承担电网改造费用,并公开水电消耗。地方政府开始使用禁建、征税和取消优惠等强制手段,防止企业将基础设施成本转嫁给居民[56]。企业方面则以技术改造和社区补偿争取项目落地。OpenAI承诺为数据中心配套电源和储能设施,微软利用电池调节用电时段[57]。这些回应背后的逻辑是,在继续推动数据中心建设的同时,将水电和基础设施成本纳入企业投资账本,以换取地方支持。
这些回应的局限,在于其合法性、可信度和制度安排存在内在矛盾。
首先,公共财富基金、缩短工时和社区补偿主要由企业和政策精英自上而下提出,劳动者与地方社区缺乏参与权,难以构成真正的社会契约[58]。
其次,这些措施大多以事后补偿换取AI继续扩张,一旦失业和资源冲突加剧,公众诉求可能转向限制部署、强制征税乃至拆分科技巨头。
再次,AI企业一边倡导财富共享,一边通过政治捐款和游说阻碍监管与问责,削弱了其承诺的可信度。
最后,政府若同时担任企业股东、产业扶持者和监管者,可能为了保护投资收益而放松安全、反垄断和劳动监管[59]。其根本问题是以有限让利换取AI扩张的"社会许可",却没有改变技术决策权高度集中的格局。
______3. 政治的临界点:对AI的政治反弹何时走向全国选举______
目前,美国社会对AI的焦虑正迅速转化为政治议题,但尚未引发全国性的惩罚性反扑。最接近这一临界点的是数据中心问题。就业变化难以与经济周期和一般产业调整区分开,但数据中心造成的电费上涨、用水压力、土地占用和噪声污染,不仅直接影响特定社区,也有明确的责任方。在2026年美国的中期选举初选阶段,暂停数据中心项目、取消税收优惠和要求企业自建能源供应,已经成为跨党派地方候选人争取选票、回应生活成本危机的筹码。
对AI的政治反弹能否上升为全国性大选议题,关键在于就业冲击是否显著、责任对象是否清晰,以及政治人物能否将二者整合为具有动员力的政治叙事。安德鲁·霍尔提出,如果失业率因AI上升两个百分点,并形成"AI应对此负责"的清晰公共叙事,真正的民粹反弹就可能开始[60]。
图3: 美国选民所认为的关键议题变化
[图片]
来源:Blue Rose Research[61]
政治反弹的扩大也会对AI产业造成影响。地方政府对数据中心的否决增多会延长项目周期,提高前期协调和环境审查成本;企业自担电网、水资源和社区补偿,则会削弱算力投资的预期回报。此后,数据中心可能进一步向电力充足、监管宽松的州转移,部分算力投资也可能转向海外。
政治压力还可能从基础设施成本进一步延伸至利润和控制权。股权税、自动化税和公共持股方案即使尚未落地,也会增加企业对未来利润分配和控制权变化的预期,届时,政治风险和社会摩擦将变成资本开支、融资和估值模型中的长期成本。
更严格的模型安全和应用监管也会增加企业的合规成本。若前沿模型被要求接受强制测试、风险披露和事故报告,产品发布和迭代周期将被拉长;各州监管规则若继续分化,还会提高全国性部署的难度,并使行业资源进一步向有能力承担合规成本的大型企业集中。
历史经验表明,对技术的政治反弹通常不会阻止技术进步,却会迫使社会重新调整技术红利的分配方式和发展规则。因此,对AI的政治反弹最可能带来的变化,是终结AI产业不计社会成本的扩张模式。2026年美国中期选举将检验地方层面的资源冲突能否转化为选票,2028年大选的关键则在于,就业冲击能否与反"科技寡头"的政治叙事汇合。一旦二者形成合力,下一次大选争论的就不只是应以多快的速度发展AI,还将涉及谁有权控制与监管AI、谁能够分享其收益,以及需要围绕AI建立怎样的新社会契约。
[图片]
参考来源(向上滑动阅览)
[1] Frey, C. B. (2019). The technology trap: Capital, labor, and power in the age of automation.
[2] Allen, R. C. (2009). Engels' pause: Technical change, capital accumulation, and inequality in the British industrial revolution. Explorations in Economic History, *46*(4), 418-435. https://www.sciencedirect.com/science/article/pii/S0014498309000199
[3] 编者注:"卢德运动"得名于英国织袜工学徒内德·卢德。据说,他因受到雇主斥责而砸毁了一台织袜机。19世纪初,反对机器替代劳动的工人以他的名字作为象征,自称"卢德将军"的追随者,因此这场以破坏机器为主要形式的工人抗议被称为"卢德运动"。
[4] Eichengreen, B., Haines, M. R., Jaremski, M. S., & Leblang, D. (2017). Populists at the polls: economic factors in the 1896 presidential election (No. w23932). National Bureau of Economic Research. https://www.nber.org/system/files/working_papers/w23932/w23932.pdf
[5] R. J. Gordon, 2016, The Rise and Fall of American Growth: The U.S. Standard of Living since the Civil War
[6] Autor, D. H., & Dorn, D. (2013). The growth of low-skill service jobs and the polarization of the US labor market. American economic review, *103*(5), 1553-1597. https://www.aeaweb.org/articles?id=10.1257/aer.103.5.1553
[7] Autor, D., Dorn, D., & Hanson, G. H. (2021). On the persistence of the China shock (No. w29401). National Bureau of Economic Research. https://www.nber.org/papers/w29401
[8] Gidron, N., & Hall, P. A. (2017). The politics of social status: Economic and cultural roots of the populist right. The British journal of sociology, *68*, S57-S84. https://onlinelibrary.wiley.com/doi/abs/10.1111/1468-4446.12319
[9] Frey, C. B., Berger, T., & Chen, C. (2018). Political machinery: did robots swing the 2016 US presidential election?. Oxford Review of Economic Policy, *34*(3), 418-442. https://academic.oup.com/oxrep/article/34/3/418/5047377
[10] https://gwern.net/doc/economics/automation/2026-blueroseresearch.pdf
[11] https://www.nytimes.com/2026/04/30/opinion/ai-labor-work-force-silicon-valley.html
[12] https://iop.harvard.edu/youth-poll/51st-edition-fall-2025
[13] https://digitaleconomy.stanford.edu/publication/canaries-in-the-coal-mine-six-facts-about-the-recent-employment-effects-of-artificial-intelligence/
[14] https://www.reuters.com/world/us/hollywoods-videogame-performers-go-strike-over-ai-pay-concerns-2024-07-25/
[15] https://www.wsj.com/business/autos/the-fight-over-humanoid-robots-has-shut-down-a-car-factory-for-the-first-time-d45ac3e1
[16] https://www.reuters.com/business/world-at-work/uk-actors-vote-reject-digital-scans-ai-rights-push-echoing-hollywood-battles-2025-12-18/
[17] https://www.tagesschau.de/wirtschaft/synchronsprecher-netflix-ki-100.html
[18] https://www.reuters.com/sustainability/society-equity/meta-us-employees-organize-protest-against-mouse-tracking-tech-2026-05-12/
[19] https://techpolicy.press/tech-workers-are-fighting-against-silicon-valleys-ai-push
[20] https://www.reuters.com/business/world-at-work/samsung-global-ai-boom-spurred-looming-strike-deep-divisions-2026-05-15/
[21] https://www.sagaftra.org/sag-aftra-members-approve-2025-video-game-agreement
[22] https://www.reuters.com/world/meta-scales-back-ai-mouse-clicks-tool-citing-employee-concerns-2026-06-02/
[23] https://www.reuters.com/business/world-at-work/samsungs-unionised-workers-south-korea-approve-wage-deal-2026-05-27/
[24] https://www.pewresearch.org/internet/2026/06/17/americans-and-ai-2026-chatbots-smart-devices-and-views-on-impact/
[25] https://www.gallup.com/file/analytics/696014/Gallup-Bentley-University_Business-In-Society%20Survey_2025%20Report.pdf
[26] https://assets1.cbsnewsstatic.com/hub/hub/cms/prod_cms_alt/file/2026/05/22/7441f284-6319-4e0a-90e1-1a892e0451af/cbs_20260517_ai.pdf
[27] https://gwern.net/doc/economics/automation/2026-blueroseresearch.pdf
[28] https://www.reuters.com/technology/artificial-intelligence/authors-sue-anthropic-copyright-infringement-over-ai-training-2024-08-20/
[29] https://techcrunch.com/2026/07/14/google-faces-another-ai-training-lawsuit-from-major-publishers/
[30] https://www.politico.com/news/magazine/2026/07/26/ai-super-pac-operatives-profile-01008227
[31] https://techoversight.org/2026/04/15/coalition-letter-dem-ltf/
[32] https://campaignlegal.org/document/ai-industry-funded-super-pacs-unlawfully-evaded-transparency-rules-clc-alleges
[33] https://www.wired.com/story/us-law-enforcement-warns-of-anti-tech-extremism/
[34] https://www.reuters.com/world/us-judge-approves-anthropics-15-billion-settlement-copyright-lawsuit-2026-07-20/
[35] https://heatmap.news/politics/americans-oppose-data-centers-poll
[36] https://news.gallup.com/poll/709772/americans-oppose-data-centers-area.aspx
[37] https://www.njpp.org/publications/report/fools-gold-the-hidden-costs-of-ai-data-centers-for-new-jersey/
[38] https://stpp.fordschool.umich.edu/sites/stpp/files/2025-07/stpp-data-centers-2025.pdf
[39] https://news.harvard.edu/gazette/story/2026/04/why-are-communities-pushing-back-against-data-centers/
[40] https://www.reuters.com/business/retail-consumer/us-data-center-protests-go-national-backlash-grows-2026-07-18/
[41] https://www.datacenterwatch.org/q1-2026
[42] https://www.reuters.com/sustainability/new-york-issues-moratorium-data-centers-2026-07-16/
[43] https://www.axios.com/local/chicago/2026/06/09/gov-pritzker-slows-down-data-center-development
[44] https://www.theguardian.com/uk-news/2026/jul/07/scotland-could-freeze-datacentre-projects-in-challenge-to-uks-ai-strategy
[45] https://www.sanders.senate.gov/op-eds/ai-must-benefit-everyone-not-just-a-handful-of-billionaires/
[46] https://www.sanders.senate.gov/wp-content/uploads/AmericanAISovereignWealthFundActSummary.pdf
[47] https://www.sanders.senate.gov/press-releases/news-sanders-ocasio-cortez-announce-ai-data-center-moratorium-act/
[48] https://freesystems.substack.com/p/ai-is-the-democratic-partys-next
[49] https://www.politico.com/news/2026/06/13/republicans-ai-josh-hawley-tech-republicans-artificial-intelligence-00961315
[50] https://www.notus.org/technology/trump-ai-stake-openai
[51] https://www.hawley.senate.gov/hawley-op-ed-ai-will-control-us-if-we-do-not-control-it/
[52] https://openai.com/index/industrial-policy-for-the-intelligence-age/
[53] https://www-cdn.anthropic.com/files/4zrzovbb/website/9ea607a5d67c168093829b701f3a0a6d21156d5.pdf
[54] https://www.axios.com/2026/07/21/mark-warner-ai-plan
[55] https://openai.com/index/industrial-policy-for-the-intelligence-age/
[56] https://www.businessinsider.com/data-center-developers-anxious-after-hochuls-construction-pause-2026-7
[57] https://www.economist.com/business/2026/06/23/americas-data-centre-backlash-puts-the-ai-boom-at-risk
[58] https://freesystems.substack.com/p/the-politics-of-jobless-prosperity
[59] https://www.project-syndicate.org/commentary/dangers-of-governments-taking-stakes-in-ai-firms-by-gabriela-ramos-and-emilija-stojmenova-duh-2026-07
[60] https://freesystems.substack.com/p/the-politics-of-jobless-prosperity
[61] https://data.blueroseresearch.org/hubfs/3.16.26%20Odd%20Lots%20AI%20Presentation.pdf
__下载CF40 APP 解锁更多精彩内容__
[图片]
__版面编辑:思琦____责任编辑:思琦__
__撰文:沙静__
视觉:李盼 东子
监制:李俊虎 潘潘
@@ -0,0 +1,84 @@
# 📊 文章摘要:美国镜鉴:当AI浪潮遭遇政治反弹
> **原文**[2026-07-28_美国镜鉴_当AI浪潮遭遇政治反弹.md](./2026-07-28_美国镜鉴_当AI浪潮遭遇政治反弹.md)
> **原文链接**https://mp.weixin.qq.com/s/OLxrS_jzJqz0z6bKIJMsfA
> **来源**:微信公众平台
> **作者**CF40研究部
> **发布日期**2026-07-28
> **摘要日期**2026-08-06
> **价值评级**:⭐⭐⭐ 高
---
## 核心命题
> **政治反弹三战线** — 对 AI 的反抗正沿劳动保护、科技巨头权力、地方资源冲突三条战线从社会情绪走向选举政治,最可能的结局是终结 AI 不计社会成本的扩张模式
---
## 文章概要
本文从历史镜鉴出发(工业革命"恩格斯暂停"与卢德运动→铁路时代反垄断→计算机革命就业极化与民粹选举),提出一个完整分析框架:公众对技术的态度由收益分配而非技术本身决定,对 AI 的政治反弹正在三条战线上积蓄——劳动者争夺部署协商权、数据权与补偿分享权,公众质疑科技巨头对数据与规则制定权的垄断,地方社区反对数据中心转嫁电力水资源成本。左右翼民粹正把分散不满整合为"科技寡头获利、普通人买单"的叙事,而建制派以"有限让利换取扩张的社会许可"回应,存在内在矛盾。其价值在于用 61 条参考文献的系统实证,勾勒出 AI 产业面临的政治风险传导链;局限是美国中心视角,数据截至 2026 年中,历史类比不可直接外推至中国。
---
## 关键要点
1. **政治反弹三条战线** — 劳动保护(岗位/技能/补偿)、科技巨头权力(数据产权/规则制定权)、地方资源冲突(数据中心电水土地成本),尚未形成统一运动,但可能共同转化为对科技巨头与分配制度的不满 `[分类: 范式突破]`(作者搭建的分析框架)
2. **历史规律:替代型 vs 赋能型技术** — 卡尔·弗雷区分:赋能型技术提高生产率易被接受,替代型技术导致技能贬值易引发抵制;反弹对象随技术形态演变:机器→垄断企业→选举政治 `[分类: 共识]`
3. **白领"新卢德主义"** — 生成式 AI 直接冲击认知任务,抗议蔓延至白领、创意劳动者与青年;斯坦福数据显示高 AI 暴露职业中 22-25 岁早期职业者就业相对下降 16%,但宏观就业尚未全面收缩——担忧先行于冲击 `[分类: 争议]`
4. **数据中心是反弹最清晰的焦点** — 收益归企业、成本归社区(电价上涨 20-25%、就业仅 20-50 人/站);2026 年 Q1 至少 75 个约 1300 亿美元项目因地方反对被取消或延期,成为少数跨党派议题 `[分类: 共识]`
5. **左右翼民粹罕见合流** — 共同塑造"科技寡头"叙事,但政策路径不同:左翼(桑德斯/AOC)主张 50% 股权税、机器人税、公共持股;右翼(班农/霍利)强调就业、家庭保护与地方否决权 `[分类: 争议]`
6. **建制派四类补偿回应及其内在矛盾** — 工时缩短与转型援助、收益分享(公共财富基金/政府持股)、安全护栏、社区成本分担;但自上而下缺乏参与权、以事后补偿换扩张、企业一边倡导共享一边游说阻碍监管、政府身兼股东与监管者角色冲突 `[分类: 范式突破]`
7. **政治临界点条件** — 就业冲击显著 + 责任对象清晰 + 政治叙事整合;安德鲁·霍尔:若失业率因 AI 上升两个百分点并形成"AI 应负责"的公共叙事,真正的民粹反弹可能开始 `[分类: 未探索]`(作者列为 2026 中期选举与 2028 大选的观察变量)
---
## 批判性分析
### 假设前提
作者立论建立在三个假设上:一是"收益与成本分配决定技术接受度"的历史规律在 AI 时代仍然成立;二是美国选举政治是利益冲突的主要出口;三是数据中心资源冲突具有代表性问题性。若 AI 就业冲击在宏观层面长期不显现、或福利制度缓冲强于预期,传导链可能放缓——作者自己也承认"AI 尚未造成全面的宏观就业冲击",民众悲观情绪是提前形成的。
### 论据与逻辑
论据充分且多源交叉(61 条参考文献,含斯坦福、皮尤、盖洛普、哈佛民调与一手新闻),并刻意区分"担忧数据"与"实际冲击数据",逻辑链条从历史→三条战线→民粹动员→建制派回应→临界点完整连贯。个别数字依赖第三方统计口径(如 1300 亿美元项目取消来自 Data Center Watch),且"机器人使用多的地区特朗普支持率更高"这类相关关系不能直接证明因果。
### 边界与局限
全文为美国中心视角,欧洲仅零星提及(苏格兰动议),对中国无直接适用性——中国的技术-社会关系、制度出口与分配机制均不同。预测性论断(2026 中期选举、2028 大选)需时间检验;"AI 应负责"的归因在统计上仍有争议(难以与一般产业调整区分,作者在数据中心一节也承认这一点)。历史类比(卢德运动等)的机制相似性不等于强度可比性——AI 的政治反弹目前尚无破坏机器式的暴力主体。
---
## 可引用金句
> "当前唯一比AI产业增长更快的,可能就是美国人对AI的负面情绪。"(转引《华尔街日报》评语)
> "对AI的政治反弹最可能带来的变化,是终结AI产业不计社会成本的扩张模式。"
> "社会焦虑只有被政治力量转化为明确的利益冲突,才会形成真正的政治反弹。"
---
## 总体评价
**亮点**
- 把零散的社会事件(罢工、诉讼、数据中心抗议、政治捐款)组织进"三战线+民粹整合+建制派回应"的完整分析框架,结构性和解释力强
- 实证扎实,数据多源交叉且区分"担忧"与"冲击",避免简单化的技术悲观或乐观叙事
- 对建制派补偿逻辑内在矛盾的剖析(有限让利不改变权力集中格局)是全文最锐利的洞见
- 给出了可检验的临界点条件(失业率 +2 个百分点等),为后续追踪提供抓手
**不足**
- 文章较长、引用密集,核心框架淹没在大量案例中,读感偏重
- 对美国内部不同数据来源的口径冲突(如不同民调支持率)未加讨论
- 对"政治反弹是否真的会改变 AI 发展速度"这一关键问题,结论偏谨慎宏观,缺乏产业侧推演细节
**适用场景**:关注 AI 产业政策风险的研究者、AI 出海或海外业务布局的企业决策者、需要理解"技术-社会-政治"互动的产品与技术管理者。
**关联建议**:可对照阅读作者引用的卡尔·弗雷《The Technology Trap》与 Autor/Dorn 的就业极化研究原著;跟踪 2026 年 11 月美国中期选举与 Data Center Watch 的项目延期数据验证文中假设;对国内读者可延伸思考中国语境下 AI 就业与基础设施成本的分配问题。
---
## 配图
![-](../../金鹏/20260806/20260806-009.png)
@@ -0,0 +1,268 @@
# vLLM PD 分离
> **来源**:微信公众平台
> **作者**marcus
> **发布日期**:2026-08-05(原文未标注日期,按下载日占位)
> **原文链接**https://mp.weixin.qq.com/s/p6gh4hK25PujQ1UJzFTbLg
> 本文是 vLLM 基于 Mooncake Connector 实现 PD 分离的源码级机制剖析,覆盖 Proxy 层、请求传递、Scheduler 调度(P producer / D consumer)、Worker 层 RDMA KV Cache 传输、传输后恢复执行、完整时序与关键设计要点。
---
## 一、Proxy 层:同一份 Prompt 同时发给 P 和 D
**是的,Proxy 会把原始 prompt 同时发给 Prefill 和 Decode 节点**,但携带不同的 `kv_transfer_params` 标志:
```
Client Prompt "Hello, how are you?"
mooncake_connector_proxy.py
┌────┴────┐
▼ ▼
Prefill Decode
节点 节点
```
**发给 Prefill 节点**`send_request_to_service`, 第 250280 行):
```
req_data["kv_transfer_params"] = {
"do_remote_decode": True, # ← "我是 P,算完把 KV 传出去"
"do_remote_prefill": False,
"transfer_id": f"xfer-{request_id}",
}
req_data["max_tokens"] = 1 # ← 只算 1 个 token 就停
req_data["stream"] = False # ← 不等流式返回
```
`asyncio.create_task` fire-and-forget 发送,不等结果。
**发给 Decode 节点**`stream_service_response`, 第 283312 行):
```
req_data["kv_transfer_params"] = {
"do_remote_decode": False,
"do_remote_prefill": True, # ← "我是 D,从远端的 P 拉 KV Cache"
"remote_bootstrap_addr": ..., # ← P 的 bootstrap 地址
"remote_engine_id": ..., # ← P 的 Mooncake engine ID(含 DP rank
"transfer_id": f"xfer-{request_id}",
}
```
以流式方式等待返回,逐 chunk 回传客户端。
**每个请求都有唯一的 `transfer_id`UUID**——这是 P 和 D 两端关联同一次 KV Cache 传输的关键标识。
---
## 二、请求进入引擎:`kv_transfer_params` 的传递路径
```
Proxy → API Server (SamplingParams.extra_args)
→ EngineCoreRequest
→ Request.__init__() 提取 kv_transfer_params
→ Scheduler 调度
→ MooncakeConnector 处理
```
`vllm/v1/request.py` 第 116119 行:
```
if sampling_params.extra_args is not None:
self.kv_transfer_params = sampling_params.extra_args.get(
"kv_transfer_params"
)
```
`kv_transfer_params` 作为 Request 对象的属性一直保留,供 Scheduler 和 KVConnector 使用。
---
## 三、Scheduler 调度层:区分本地计算和远程 KV 加载
这是 PD 分离最核心的逻辑,在 `vllm/v1/core/sched/scheduler.py``schedule()` 方法中。
### 3.1 Prefill 节点 (is_kv_producer) 的调度
`do_remote_decode=True` 时:
1. **`get_num_new_matched_tokens`**MooncakeConnectorScheduler 第 712755 行):返回 `(0, False)`——P 节点不需要加载任何外部 KV,正常计算 prompt。
2. **`update_state_after_alloc`**(第 757–805 行):记录该请求需要将 KV Cache 发送出去:
```
elif params.get("do_remote_decode"):
self._reqs_need_send[request.request_id] = (request, [])
```
3. **`request_finished`**(第 838–892 行):当请求完成时(只生成了 1 个 token),不立即释放 block,而是标记为需要异步发送:
```
if delay_free_blocks:
self._reqs_need_send[request.request_id] = (
request, self.get_sw_clipped_blocks(block_ids),
)
return delay_free_blocks, None # ← True = 延迟释放
```
### 3.2 Decode 节点 (is_kv_consumer) 的调度
当 `do_remote_prefill=True` 时:
1. **`get_num_new_matched_tokens`**:返回 `(num_prompt_tokens, True)`——告诉 Scheduler"这 N 个 token 的 KV 已经在远端算好了,异步去拉"。
```
if params.get("do_remote_prefill"):
token_ids = request.prompt_token_ids or []
count = self._get_remote_prefill_token_count(len(token_ids)) - (
num_computed_tokens
)
if count > 0:
return count, True # ← count 是 prompt 长度,True = 异步加载
```
2. **Scheduler 分配 KV block**(第 953971 行):`allocate_slots` 中传入 `num_external_computed_tokens`,并为远程 token 预留 block。关键参数:
- `delay_cache_blocks=True` — block 分配了但不立即写入 prefix cache(因为数据还在远端)
- `reserved_blocks` — 确保有足够空间完成整个异步传输,防止死锁
3. **请求进入 `WAITING_FOR_REMOTE_KVS` 状态**(第 10101040 行):
```
if load_kv_async:
request.status = RequestStatus.WAITING_FOR_REMOTE_KVS
step_skipped_waiting.prepend_request(request)
request.num_computed_tokens = num_computed_tokens
self._inflight_prefills.add(request)
# 跳过 zeroing:异步写入可能与 zeroing 竞态
```
此时 request 被放入 `skipped_waiting` 队列,不会进入 `running` 列表,本轮不参与 GPU 计算。
4. **`build_connector_meta`**:将需要 recv 的请求打包成 `MooncakeConnectorMetadata`(含 `remote_engine_id`、`remote_bootstrap_addr`、`transfer_id`、`local_block_ids`),放入 `SchedulerOutput.kv_connector_metadata` 传递给 Worker。
---
## 四、Worker 层:Mooncake 的 KV Cache RDMA 传输
### 4.1 D 节点 Worker:拉取 KV Cache
**`start_load_kv`**`MooncakeConnectorWorker`, 第 20282039 行):
```
def start_load_kv(self, metadata: MooncakeConnectorMetadata):
if not self.is_kv_producer and metadata.reqs_to_recv:
asyncio.run_coroutine_threadsafe(
self._start_load_kv(metadata.reqs_to_recv), self.receiver_loop
)
```
**`_start_load_kv` → `handle_new_engine_id` → `receive_kv` → `receive_kv_from_single_worker`**
1. 首先通过 `_connect_to_prefiller_bootstrap(remote_bootstrap_addr)` 查询 P 节点的 bootstrap server,获取 P 侧所有 TP/PP Worker 的 ZMQ 地址
2. 构建 `MooncakeXferMetadata`(第 18251840 行),包含:
- `remote_hostname`/`remote_port`:D 侧的地址,P 侧用来做 RDMA 写入
- `remote_tp_size`/`remote_tp_rank`TP 拓扑信息
- `req_blocks``{req_id: (transfer_id, local_block_ids)}`——D 侧已分配的 block ID
- `kv_caches_base_addr`/`block_lens`/`kv_block_lens`D 侧 KV Cache 的物理内存地址和布局
3. 通过 ZMQ DEALER socket 向 P 侧对应 TP rank 的 Worker 发送此元数据
4. P 侧收到后,通过 RDMA (`batch_transfer_sync_write`) 将 KV Cache 数据直接写入 D 侧的 GPU 内存地址
5. 传输完成后,D 侧标记 `finished_recving_reqs`
### 4.2 P 节点 Worker:推送 KV Cache
**`record_send_reqs`**(第 20002026 行):P 侧的 Worker 将 Scheduler 传递来的 `reqs_to_send`(含 `transfer_id` 和 `local_block_ids`)记录到 `self.reqs_need_send` 字典。
**`send_kv_to_decode`**(第 11931382 行):当 D 侧的 ZMQ 请求到达 P 侧时触发,核心逻辑:
1. **等待 P 端 block 就绪**`send_meta.ready.wait()`——P 侧的 forward pass 可能尚未完成
2. **地址计算**`_build_transfer_params` 第 14241614 行):
- 逐层、逐 block 计算 P 侧源地址和 D 侧目标地址
- 处理 TP 异构(不同 TP 大小之间映射)
- 处理 HMAHybrid Memory Allocator)多 KV group
- 处理 Mamba/GDN 状态块
3. **RDMA 传输**`_send_blocks` 第 16221651 行):
```
ret_value = self.engine.batch_transfer_sync_write(
remote_session, src_ptrs, dst_ptrs, lengths
)
```
P 侧直接通过 RDMA/NVLink 将 KV Cache 字节写入 D 侧的 GPU 内存。
4. 传输完成后,标记 `finished_sending_reqs`,释放 P 侧的 block。
---
## 五、KV Cache 传输完成后:请求恢复执行
### 5.1 Scheduler 收到传输完成信号
`update_from_output` → `_update_from_kv_xfer_finished`(第 27132740 行):
```
for req_id in kv_connector_output.finished_recving or ():
req = self.requests[req_id]
if req.status == RequestStatus.WAITING_FOR_REMOTE_KVS:
self.finished_recving_kv_req_ids.add(req_id)
```
### 5.2 下一轮调度时提升请求状态
`_try_promote_blocked_waiting_request`(第 26772711 行):
```
if request.status == RequestStatus.WAITING_FOR_REMOTE_KVS:
if request.request_id not in self.finished_recving_kv_req_ids:
return False
self._update_waiting_for_remote_kv(request)
request.status = RequestStatus.WAITING # 回到正常调度队列
```
`_update_waiting_for_remote_kv`(第 26342675 行):
- 将接收到的 KV block 写入 prefix cache`kv_cache_manager.cache_blocks`
- 如果全部 prompt token 都命中,减少 1 个 computed token 以确保最后 1 个 token 被本地重算(用于生成第一个 output token
### 5.3 正常调度执行
此时 request 回到 `WAITING` 状态,在下一轮 `schedule()` 中被正常调度:
- `num_computed_tokens` 已经包含了外部加载的 token 数
- Scheduler 从 `num_computed_tokens` 之后开始分配新的 compute
- 新分配的 token(通常只有 1 个 decode token)在本地 GPU 上执行
---
## 六、完整时序总结
```
┌─ Proxy ──────────────────────────────────────────────────────────────┐
│ ① POST /v1/chat/completions {"messages": [...], "max_tokens": 100} │
│ ② asyncio.create_task() ③ Stream Decode Response │
│ → P Node (fire & forget) → D Node (等待返回) │
│ kv_transfer_params: kv_transfer_params: │
│ do_remote_decode=True do_remote_prefill=True │
│ max_tokens=1 remote_bootstrap_addr=<P地址> │
│ stream=False remote_engine_id=<P engine id> │
│ transfer_id=xfer-UUID transfer_id=xfer-UUID │
└───────┬─────────────────────────────────┬───────────────────────────┘
┌───────▼── P Node ───────────┐ ┌───────▼── D Node ────────────────────┐
│ ④ Request 进入 Scheduler │ │ ⑤ Request 进入 Scheduler │
│ is_kv_producer=True │ │ is_kv_consumer=True │
│ ⑥ get_num_new_matched_tokens │ │ ⑦ get_num_new_matched_tokens │
│ → (0, False) 正常计算 │ │ → (N_prompt, True) 远端加载 │
│ ⑧ Scheduler 分配 block │ │ ⑨ Scheduler 分配 block │
│ → RUNNING 状态 │ │ → WAITING_FOR_REMOTE_KVS 状态 │
│ ⑩ GPU forward pass │ │ ⑪ Worker.start_load_kv() │
│ KV Cache 写入本地显存 │ │ → ZMQ 发送 MooncakeXferMetadata │
│ ⑫ send_kv_to_decode() │ │ (含 D 侧 block 物理地址) │
│ ← ZMQ 收到 D 的请求 │◄───── ZMQ ────────────────────────────│
│ → batch_transfer_sync_write│ │ │
│ → RDMA 写入 D 侧 GPU 显存 ═══════ RDMA/NVLink ═══════════════════► │
│ ⑬ finished_sending_reqs │ │ ⑭ finished_recving_reqs │
│ 释放 P 侧 block │ │ ⑮ WAITING_FOR_REMOTE_KVS → WAITING │
│ │ │ ⑯ 下一轮 schedule() 正常调度 decode │
│ │ │ ⑰ GPU forward pass 自回归生成 output │
│ │ │ ⑱ 流式返回 tokens → Proxy → Client │
└──────────────────────────────┘ └──────────────────────────────────────┘
```
---
## 七、关键设计要点
1. **P 和 D 收到的 prompt 完全一致**,但通过 `kv_transfer_params` 标志区分行为。P 正常计算整个 prompt,D 跳过本地计算而从 P 拉取 KV Cache。
2. **`transfer_id` 是连接 P/D 的关键**Proxy 生成 UUID,同时发给 P 和 D。P 侧通过 `reqs_need_send[transfer_id]` 等待 D 侧通过 ZMQ 发来的拉取请求(携带同样的 `transfer_id`),从而匹配同一请求。
3. **D 侧 block 物理地址是传输的基础**:D 侧在 `receive_kv_from_single_worker` 中将自己的 `kv_caches_base_addr` + `block_lens` + `block_ids` 发给 P,P 侧据此计算出 RDMA 的目标地址,直接写入 D 的 GPU 显存。
4. **异步非阻塞设计**:D 侧在等待 KV 传输时处于 `WAITING_FOR_REMOTE_KVS` 状态,不占用 GPU 计算资源。同时 P 侧的发送也通过独立的后台线程池异步执行,不阻塞 P 的 forward pass。
5. **`remote_engine_id` 区分不同 DP rank 的 KV Cache**:在 DP(数据并行)场景下,每个 DP rank 有独立的 KV Cache 分区。`remote_engine_id` 包含 `engine_id_dp{N}` 后缀,精确定位到哪个 DP rank 的 KV Cache。
@@ -0,0 +1,80 @@
# 📊 文章摘要:vLLM PD 分离
> **原文**[2026-08-05_vLLM_PD分离_源码级机制_marcus.md](./2026-08-05_vLLM_PD分离_源码级机制_marcus.md)
> **原文链接**https://mp.weixin.qq.com/s/p6gh4hK25PujQ1UJzFTbLg
> **来源**:微信公众平台(marcus)
> **作者**marcus
> **发布日期**:2026-08-05(原文未标注日期,按下载日占位)
> **摘要日期**2026-08-06
> **价值评级**:⭐⭐⭐ 高
---
## 核心命题
> **源码级解构** — 把 PD 分离从概念论述落到 vLLM + Mooncake Connector 的代码行号级机制,是本批 PD 分离文章中唯一触及实现细节的第一手资料。
---
## 文章概要
本文逐层拆解 vLLM 基于 Mooncake Connector 实现 PD 分离的完整代码路径:Proxy 将同一 prompt 双发至 P/D 节点并携带不同标志、Scheduler 通过 `WAITING_FOR_REMOTE_KVS` 状态机暂停等待远端 KV、Worker 层经 ZMQ 握手后以 RDMA 将 KV Cache 直写 D 侧 GPU 显存、传输完成后请求恢复调度。其价值在于回答了其他文章不回答的"怎么实现"问题——`transfer_id` 如何关联 P/D、D 侧 block 物理地址如何成为传输基础、为何要"少算 1 个 token 本地重算"。局限在于只覆盖 Mooncake Connector 一种实现,无性能数据,不讨论 P:D 配比与传输延迟等工程参数。
---
## 关键要点
1. **Proxy 双发请求** — 同一 prompt 同时发给 P 和 D,靠 `kv_transfer_params` 标志区分角色:P 侧 `do_remote_decode=True``max_tokens=1` fire-and-forgetD 侧 `do_remote_prefill=True` 流式等待返回。 `[分类: 共识]`
2. **`transfer_id` 关联机制** — Proxy 生成 UUID 同时发给两端,P 侧以 `reqs_need_send[transfer_id]` 等待 D 侧经 ZMQ 发来的拉取请求,是 P/D 匹配同一请求的唯一纽带。 `[分类: 共识]`
3. **D 侧调度暂停态**`WAITING_FOR_REMOTE_KVS` 状态下请求不进入 running 队列、不占 GPU 计算资源,并跳过 zeroing 以避免与异步写入竞态;`reserved_blocks` 预留空间防死锁。 `[分类: 共识]`
4. **RDMA 直写远端显存** — D 侧将自己的 `kv_caches_base_addr`/`block_lens`/`block_ids` 经 ZMQ 发给 PP 用 `batch_transfer_sync_write` 直接写入 D 的 GPU 内存,D 侧零计算加载;`remote_engine_id` 的 DP rank 后缀用于定位不同数据并行分区的 KV。 `[分类: 共识]`
5. **传输后恢复执行** — 完成后 KV 写入 prefix cache,并故意减少 1 个 computed token 让最后 1 个 prompt token 本地重算以生成首个输出 token;P 侧发送走后台线程池,不阻塞 forward pass。 `[分类: 共识]`
6. **机制层面未触及的性能问题** — 全文只讲"如何实现"不讲"收益几何"P:D 比例、传输延迟、SLO 达成等维度完全缺席,需与性能类文章(如 DistServe 解读)互补阅读。 `[分类: 未探索]`
---
## 批判性分析
### 假设前提
作者立论建立在三个前提上:读者熟悉 vLLM v1 架构与 Mooncake 生态;该实现路径是 PD 分离的"典型范式"——但 SGLang、TensorRT-LLM 等引擎的实现机制并不相同;RDMA/NVLink 高速互联为默认可用资源。
### 论据与逻辑
论据为具体源码行号(`scheduler.py` 712-755 行、`MooncakeConnectorWorker` 2028-2039 行等),证据直接、链条完整,从请求进入、调度、传输到恢复执行全程无逻辑跳跃,可信度高。但全文无任何运行数据或基准测试,无法证明"这套机制实际有效、开销几何"——机制正确性与性能有效性是两回事。
### 边界与局限
结论仅适用于 vLLM + Mooncake Connector 这一特定组合;文中机制(如延迟释放 block、传输后减少 1 个 computed token)属于工程实现细节而非普适原理;不适用于评估 PD 分离的收益/代价,也不覆盖 D 节点等待期间的整体调度吞吐影响。对只想了解 PD 分离概念与价值的读者,本文过于深入。
---
## 可引用金句
> "每个请求都有唯一的 `transfer_id`UUID)——这是 P 和 D 两端关联同一次 KV Cache 传输的关键标识。"
> "P 和 D 收到的 prompt 完全一致,但通过 `kv_transfer_params` 标志区分行为。"
---
## 总体评价
**亮点**
- 全链路(Proxy→Scheduler→Worker→恢复执行)代码级剖析,行号精确,是稀缺的一手工程资料
- 清晰回答了"KV 如何从 P 到 D、请求如何暂停与恢复"这一概念文章普遍回避的实现问题
- 时序图(完整时序总结)直观完整,可作为机制速查图
**不足**
- 无任何性能数据,机制正确性与性能收益之间留白
- 未讨论 P:D 配置、传输延迟、失败处理等工程参数
- 依赖 Mooncake Connector 特定实现,通用性未说明
**适用场景**:推理系统工程师、vLLM 二次开发者、想从"知道 PD 分离"进阶到"读懂 PD 分离代码"的读者;面试中需要讲解 PD 分离实现细节时的高价值素材。
**关联建议**:搭配本文同批的 DistServe 解读(原理与收益)与丁师兄文章(落地代价)构成"原理—机制—代价"完整链条;可进一步阅读 vLLM `v1/core/sched/scheduler.py``MooncakeConnectorScheduler``MooncakeConnectorWorker` 的完整源码,以及 Mooncake 项目关于 KVCache 传输的官方文档。
---
## 配图
![-](../../金鹏/20260806/20260806-003.png)
@@ -0,0 +1,84 @@
# LLM 做 PD 分离后,怎么更慢了?
> **来源**:微信公众平台(丁师兄)
> **作者**:丁师兄(专注于智能驾驶大模型,LLM 面试干货分享)
> **发布日期**:2026-08-05(原文未标注日期,按下载日占位)
> **原文链接**https://mp.weixin.qq.com/s/0HlmtIuPGU7QE5r1fyhcsA
> 面试题视角:PD分离实际落地会遇到什么问题。从"代价/坑"的角度讲 PD分离的 5 大问题——KV Cache 传输开销、生产者-消费者不平衡、调度复杂度、显存压力与碎片化、P:D 比例敏感性。与只讲红利的文章形成互补。
---
> 编者按(丁师兄):前不久有个学员面试完回来说,面试官问"PD 分离听起来挺好的,那你说说实际落地会遇到什么问题?"他当时愣了一下,只答出了网络传输这一点。这道题考的就是你有没有真正理解过生产环境的复杂性。PD 分离现在是个热门话题,vLLM、SGLang 都在推,Meta 和 Kimi 也在用,但真要把它跑起来,坑可不少。
## 01 先理解 PD 分离在解决什么
LLM 推理分两个阶段:Prefill 阶段是计算密集型的,把整个 prompt 并行处理完,生成 KV Cache;Decode 阶段是内存密集型的,逐个 token 串行生成,频繁读写 KV Cache。这两个阶段的资源需求完全相反,混在一起跑会互相干扰。
所以 PD 分离就是把这两个阶段拆到不同的 GPU 上去执行。Prefill 用高算力卡,Decode 用高带宽卡,听起来很美好对吧?但工业界真正落地的时候,问题就来了。
## 02 第一个大坑:KV Cache 传输开销
最核心的问题——KV Cache 的传输成本。Prefill 阶段算完之后,得把整个 KV Cache 传给 Decode 阶段。
**Llama-3.1-70B** 举例,一个请求的 KV Cache 大概是 **1.34GB**。这是单个请求。如果 TTFT 要求 500ms 以内,Prefill 本身可能就要 200ms,留给传输的时间只有 300ms 左右。
这时候网络就成了瓶颈:
- **10GbE**:传这 1.34GB 要 1 秒多,根本不够用;
- **25GbE**:勉强 400 多毫秒,也很紧张;
- **InfiniBand HDR 或 NVLink**:才能压到几十毫秒甚至几毫秒。
如果传输开销超过了分离带来的性能收益,整个架构就白搭了。这就是为什么 PD 分离必须要有高速互联网络支持,不是随便拿几台机器就能做的。Meta、Kimi 在生产环境用的都是专门的高速网络,这个成本不低。
## 03 第二个问题:生产者-消费者不平衡
Prefill 和 Decode 之间的负载不均衡,取决于工作负载特征:
- **短 prompt、长输出**(用户问一句,模型生成一大段):Decode 压力大,需要 **1P3D**
- **长上下文**(文档总结、代码分析,prompt 几千 token,输出不长):Prefill 成瓶颈,反过来配 **3P1D**
问题在于真实业务流量是动态变化的——上午都是短问答,下午突然来一批长文档处理。如果 P:D 比例是静态配置的,就会出现一边资源闲置、另一边排队等待。这就需要动态调度和弹性伸缩,但又增加了系统复杂度。
有篇论文专门研究了这个,发现当 Prompt/Output 比例变化时,不同 P:D 配置的性能曲线会交叉——没有一个万能配置,必须根据实际 workload 调整。
## 04 第三个问题:调度复杂度飙升
传统架构里调度器只管一个队列。PD 分离之后调度逻辑复杂多了:
调度器要实时决策:请求分配给哪个 Prefill 实例?Prefill 完成后 KV Cache 传给哪个 Decode 实例?要考虑各节点负载、显存剩余、KV Cache 复用率、网络拓扑等。
更麻烦的是 Prefill 和 Decode 的协调:Prefill 做完了 Decode 还在忙,KV Cache 传不过去只能等;或者 Decode 空闲了 Prefill 还没准备好,又是浪费。这种生产者-消费者同步问题,在高并发场景下特别容易出现气泡(资源利用率的空洞)。
DistServe 和 Mooncake 设计了非常复杂的调度算法。Mooncake 甚至搞了三层架构:Prefill 集群、Decode 集群,还有专门的 Caching 集群管理 KV Cache——这个复杂度对小团队维护成本很高。
## 05 第四个问题:显存压力和碎片化
Prefill 阶段可能同时处理多个请求,每个都要生成 KV Cache,显存占用瞬间飙升。Decode 阶段更惨,要保留所有在生成中请求的完整 KV Cache,随生成长度增加 Cache 还在不断增长。
虽然有 PagedAttention 缓解碎片化,但 PD 分离后 KV Cache 的生命周期跨越两个不同节点,管理更复杂——要确保 Prefill 生成的 Cache 高效映射到 Decode 节点显存,还要处理释放和复用时机。管理不好会出现一边频繁 OOM、另一边大量闲置。
## 06 第五个问题:P:D 比例的敏感性
一篇 Medium 文章做了个实验,测试 1P3D、2P2D、3P1D 三种配置。结果发现性能曲线会随 Prompt/Output 比例变化而交叉——某个 workload 下最优的配置,换个 workload 可能变成最差。
本质是 Prefill 和 Decode 的瓶颈切换不是平滑的,而是突变的。workload 从 Decode 密集切换到 Prefill 密集时,系统性能可能断崖式下跌。所以真正做得好的系统需要实时监控 workload 特征、动态调整 P:D 比例——但这又回到调度复杂度问题,是个循环依赖。
> 从上图可以看出,PD 分离可以提高 decoding 部分的效率。但从 TP2 变成 1P1Dprefilling 的卡减少,大 bs、长输入时会导致 TTFT 变长。另外因为 prefill 的计算量大,decoder 阶段的传输量大,因此 PD 分离可以对两个阶段使用不同类型的显卡,最大化性价比。
## 07 总结
如果被问"PD 分离背后可能出现什么问题",可以从这几个维度答:
1. **KV Cache 传输开销**(最核心):强调网络带宽要求,算传输时间,说明为什么需要 InfiniBand 或 NVLink 级互联;
2. **负载不均衡**:不同 workload 下 P:D 比例需求不同,静态配置导致资源浪费;
3. **调度复杂度**:生产者-消费者同步、资源分配决策、气泡问题;
4. **显存管理**:KV Cache 跨节点生命周期管理、碎片化、OOM 风险;
5. **性能对 workload 敏感性**:没有万能配置,需要动态调整。
如果追问"怎么解决",可以说业界方案:高速网络、智能调度算法、动态伸缩、KV Cache 压缩和复用等。提一下 DistServe、Mooncake 这些系统的实践,会显得对前沿有了解。
> 这道题考的不是让你背八股,而是看你有没有真正理解生产环境的复杂性。
---
> 编者:丁师兄,专注智能驾驶大模型,持续分享 LLM 面试干货;大模型 1v1 辅导。微信:dsxaigc
@@ -0,0 +1,82 @@
# 📊 文章摘要:LLM 做 PD 分离后,怎么更慢了?
> **原文**[2026-08-05_LLM做PD分离后怎么更慢了_丁师兄.md](./2026-08-05_LLM做PD分离后怎么更慢了_丁师兄.md)
> **原文链接**https://mp.weixin.qq.com/s/0HlmtIuPGU7QE5r1fyhcsA
> **来源**:微信公众平台(丁师兄)
> **作者**:丁师兄(专注智能驾驶大模型,LLM 面试干货分享)
> **发布日期**:2026-08-05(原文未标注日期,按下载日占位)
> **摘要日期**2026-08-06
> **价值评级**:⭐⭐⭐ 高
---
## 核心命题
> **落地五坑** — 从生产环境视角系统列出 PD 分离的 5 大落地问题(KV 传输、负载失衡、调度复杂度、显存管理、P:D 敏感性),是与清一色"红利派"文章互补的"代价派"清单。
---
## 文章概要
本文以面试题"PD 分离实际落地会遇到什么问题"切入,系统梳理了 PD 分离生产落地的 5 大坑:KV Cache 传输开销(Llama-3.1-70B 单请求 1.34GB10GbE 传 1 秒以上,需 IB/NVLink 级互联)、生产者-消费者不平衡(workload 动态变化使静态 P:D 配置失效)、调度复杂度飙升(双实例决策与气泡问题)、显存压力与跨节点生命周期管理、P:D 比例对 workload 的高度敏感性(性能曲线交叉、断崖式下跌)。其价值在于提供了本批文章中唯一完整的"反面清单",并给出了可直接计算的量化示例;局限是数字多为估算与二手引用,无第一手实验,且"如何解决"仅点到业界方案名称。
---
## 关键要点
1. **KV Cache 传输是最大坑** — Llama-3.1-70B 单请求 KV 约 1.34GBTTFT 500ms 预算下 Prefill 占 200ms 后仅剩约 300ms 传输窗口:10GbE 需 1 秒+、25GbE 勉强 400 多毫秒,只有 InfiniBand/NVLink 才能压到几十毫秒级;"传输开销超过分离收益则整个架构白搭"。 `[分类: 共识]`
2. **P:D 比例无万能配置** — 短 prompt 长输出需 1P3D,长上下文需 3P1D;真实业务流量动态变化,静态配置必出现一边闲置一边排队;论文与 Medium 实验均显示不同 Prompt/Output 比例下性能曲线交叉。 `[分类: 共识]`
3. **调度复杂度飙升** — 调度器从单队列变为实时决策"请求分给哪个 P、KV 传给哪个 D";生产者-消费者同步在高并发下产生气泡;Mooncake 的三层架构(P/D/Caching 集群)对小团队维护成本高。 `[分类: 共识]`
4. **显存管理与碎片化** — KV Cache 生命周期跨越两个节点,PagedAttention 只能缓解单节点碎片;P/D 两侧的释放与复用时机协调不当会出现"一边频繁 OOM、另一边大量闲置"。 `[分类: 共识]`
5. **瓶颈切换是突变而非平滑** — workload 从 Decode 密集切到 Prefill 密集时性能可能断崖式下跌;动态调整 P:D 又依赖实时监控与调度,与问题 3 形成循环依赖——这是动态 P:D 配比至今未成熟解决的深层原因。 `[分类: 未探索]`
6. **应对方向的业界共识** — 高速网络、智能调度算法、动态伸缩、KV Cache 压缩与复用,并以 DistServe、Mooncake 为前沿实践代表。 `[分类: 共识]`
---
## 批判性分析
### 假设前提
立论假设 PD 分离的收益已成立(文章未质疑分离本身,只质疑落地方式);同时隐含假设读者已具备 PD 分离基本概念;"动态 workload"是常态这一前提放大了静态配比的缺陷,但未讨论可预测负载(如离线批处理)场景下静态配比的适用性。
### 论据与逻辑
五个问题维度划分清晰、逻辑自洽,KV 传输的量化示例(1.34GB、300ms 窗口、各网络档位耗时)可直接复算,说服力强。但 P:D 敏感性结论仅转述"有篇论文"与"一篇 Medium 文章",未给出论文名与数据来源,引用严谨性不足;部分数字(10GbE 传 1 秒多)为估算,未提供计算公式;"问题清单"完整但"解决路径"止于名词罗列。
### 边界与局限
结论针对"动态生产流量下的在线推理"场景,对负载稳定的离线批量场景不适用;KV 传输开销的判断以 Llama-3.1-70B 为样本,对 KV 更小的 MoE 模型(如 DeepSeek)或 KV 压缩技术下的传输量需重新评估——其悲观程度与 DistServe 论文"传输可隐藏"的乐观结论形成对照,真实答案取决于网络与模型的具体组合;文章未覆盖传输与计算重叠(overlap)等已有缓解技术。
---
## 可引用金句
> "这道题考的不是让你背八股,而是看你有没有真正理解生产环境的复杂性。"
> "如果传输开销超过了分离带来的性能收益,整个架构就白搭了。"
> "没有万能配置,必须根据实际 workload 调整。"
---
## 总体评价
**亮点**
- 本批 PD 分离文章中唯一的系统性"代价清单",与红利派文章形成强互补
- KV 传输量化示例具体可复算(1.34GB、300ms 窗口),可直接用于面试与方案评估
- 明确点出 P:D 敏感性、瓶颈突变、动态调整循环依赖等常被忽视的深层问题
**不足**
- 关键结论依赖未具名的二手引用,严谨性不足
- 无第一手实验数据,数字多为估算
- "怎么解决"止于业界方案名称,缺少可操作建议
**适用场景**:准备 LLM 推理面试的候选人;正在评估 PD 分离方案的架构师与运维团队(决策前的风险清单);与红利派文章对照理解 PD 分离全貌的读者。
**关联建议**:与本批新智元 DistServe 文章对照阅读,可见"传输可隐藏 vs 传输是大坑"的张力本质是网络条件与模型规模假设不同;与本批 marcus 的 vLLM 源码文章串联,可理解调度复杂度在代码层的具体表现;进一步可阅读 Mooncake 论文(KVCache 复用与缓存集群)与 DistServe 论文中关于调度算法的章节。
---
## 配图
![-](../../金鹏/20260806/20260806-003.png)
@@ -0,0 +1,138 @@
# 当 PD 分离成为标配,推理的未来在 AFD
> **来源**:微信公众平台(小哥人工智能笔记)
> **作者**:小哥人工智能笔记
> **发布日期**:2026-08-05(原文未标注明确日期,按下载日占位;解读论文 arXiv:2605.28302 为 2026-05
> **原文链接**https://mp.weixin.qq.com/s/5YsLOl4oIfHzNdi8pbmURQ
---
> 推荐理由:在 PD 分离已经成为集群分布式推理标配的时候,推理系统未来的方向走向了 AFD,这篇文章不是从 AFD 方案本身入手,而是从 AFD 的建模配比入手,给出指导。
过去两年,大模型推理系统的(disaggregation)浪潮走得比大多数人想象得更快。先是 chunked-prefill 把 prefill 和 decode 塞进同一个批次;接着 prefill–decodeP/D)分离把计算密集的 prefill 与访存密集的 decode 拆到不同机器池;而现在,Georgia Tech、Intel、Google、Google DeepMind 联合的一篇工作(arXiv:2605.28302《How Far Can Disaggregation Go?》)把解聚的刀进一步切进了每一个 Transformer 块内部——把 Attention(注意力)和 FFN(前馈网络)也拆到不同的 GPU 组上执行。这种被称为 **AttentionFFN DisaggregationAFD,注意力–前馈解聚)** 的算子级解聚,正是继 PD 分离之后,MoE(混合专家)大模型推理最值得关注的基础设施方向。
这篇文章不是又一篇「我做了一个系统」的论文,而是用一套建模框架 AIC++,系统地把「到底要不要解聚、解到哪一层才划算」这件事算清楚了。它的结论对做智算中心、推理 Infra、以及所有关心 MoE 模型规模化部署的人,都有很强的指导意义:**AFD 在严格延迟 SLO 下能撑起约 4k tokens/s 的系统吞吐,而在非 AFD 部署根本无法运行的 1M 前缀长上下文场景里,AFD 是唯一可行的解。**换句话说,AFD 的价值不只是「更快」,更是在特定战场上「能不能跑」。
## 零、为什么「解聚」是智算中心绕不开的命题
在谈 AFD 之前,得先说清一个更底层的判断:为什么「解聚」会成为大模型推理系统的主流范式?根本原因是 Transformer 推理天然是**两段式、且两段瓶颈完全不同**的。Prefill 阶段要处理整段输入、一次性生成全部 KV 缓存,算力(FLOPs)主导,理论上限由 GPU 的算术吞吐决定;Decode 阶段逐 token 自回归生成,每一步只算一个 token 却要读写整份 KV 缓存,瓶颈在显存带宽(memory bandwidth),GPU 的算力在这里大量闲置。把这两段塞在同一张卡上,要么 prefill 占着算力把 decode 饿着,要么 decode 占着带宽把 prefill 拖慢,气泡(bubble)巨大。
PD 分离的本质,就是把这两段按各自瓶颈拆到不同硬件池,让 prefill 池专心吃算力、decode 池专心喂带宽,再通过 KV 缓存的跨节点传输把两段衔接起来。这套思路已经在 vLLM、SGLang、TensorRT-LLM 等主流引擎里成了默认配置。但论文敏锐地指出:**PD 分离仍然把每个 Transformer 块当作一个「不可分割的整体」**,而 MoE 这类模型在块内部,Attention 和 FFN 的异质性就已经大到不能忽略——于是解聚的下一刀,自然落在了块内部。这也是为什么 AFD 被定义为「叠在 PD 之上的下一级解聚」,而不是它的替代者。
## 一、解聚的三级跳:从 chunked-prefill 到 AFD
要理解 AFD 为什么重要,得先看清推理解聚的演进脉络。现代 LLM 推理天然分成 prefill(处理整段输入、生成 KV 缓存,计算密集)和 decode(逐 token 自回归生成,访存密集,受 KV 缓存带宽制约)两个阶段。早期的 chunked-prefillSarathi, 2023)只是把长 prefill 切成块塞进 decode 批次,减少气泡;PD 分离(DistServe, 2024Splitwise, 2023)则把两个阶段放到独立硬件池,各自按自己的瓶颈扩展。
但 PD 分离仍然把每个 Transformer 块当作一个「不可分割的整体」。而论文指出,对于 MoE 这类模型,同一个块内部的异质性就已经非常显著:Attention(尤其是 MHA/GQA/MLA 变体)主要是**访存密集、状态密集**(KV 缓存读写主导);FFN(特别是 MoE 的 expert FFN)则是**计算密集**(被稠密 GEMM 主导)。MegaScale-Infer(2025)已经证明,在巨大的异构模型上,粗粒度抽象会失效。AFD 就是把 Attention 和 FFN 算子也分开部署,让「状态重的注意力」和「无状态的计算密集 FFN」各自拥有独立伸缩的 GPU 池。
论文把这套层级画在 Figure 1 的 AIC++ 框架总览里:设计空间同时覆盖 token 级并行(DP/SP/TP/PP/EP)、阶段级 P/D 分离、以及算子级 A/F 解聚。换句话说,AFD 不是 PD 的替代品,而是叠在 PD 之上的下一级解聚。
表:推理解聚的三级跳对比(演进逻辑,非论文原表)
| 解聚层级 | 切分对象 | 主要解决 | 典型收益 | 主要代价 |
| --- | --- | --- | --- | --- |
| chunked-prefill | 长 prefill 切块 | 批次内气泡 | GPU 利用率提升 | 无独立伸缩 |
| P/D 分离 | prefill vs decode | 算力 vs 带宽瓶颈错配 | TTFT/TPOT 各自优化 | KV 跨节点传输 |
| A/F 解聚(AFD | Attention vs FFN | 块内访存 vs 计算错配 | rate-matching + 显存切分 | 层内 A2F/F2A 通信 |
## 二、为什么 Attention 和 FFN 必须分开算:异构性的量化证据
AFD 的合理性,根植于 Attention 与 FFN 在执行特性上的根本差异。论文用 Figure 3 把四种代表性架构在四种上下文长度下的**运行时占比**和**显存占比**做了分解,结论非常直观:
- **稠密 GQA 架构**(如 GPT-OSS-120B、Qwen3-235B):在长上下文下高度 Attention 主导——4K 上下文时 Attention 占运行时约 41%/59%,到 0.5M 上下文时 Attention 占比飙到 87%/96%。
- **稀疏注意力架构**DeepSeek-V3.2MLA + 稀疏注意力):短上下文 FFN 主导,但随上下文变长越来越 Attention 受限。
- **状态空间模型**Nemotron3-120BMamba-2 + GQA):因为线性时间注意力特性,运行时 decisively 倒向 FFN128K 上下文时 FFN 占 81%)。
关键观察:**Attention/FFN 的运行时比例随上下文长度单调上升**(KV 缓存越来越大),且不同架构斜率完全不同。这意味着「给 Attention 和 FFN 分配多少算力」没有统一答案,必须按工作负载和模型架构动态决定——这正是 AFD 存在的根本理由。显存侧也是同理:Figure 3(b) 显示权重与 KV 缓存的占比随上下文剧烈变化,长上下文下 KV 缓存能吃掉 40%–77% 的显存。
顺带一提,这种「块内异构」对 MoE 尤其刺眼。MoE 的 FFN 是专家混合,参数规模常占整个模型权重的 80%–90% 以上,是名副其实的算力黑洞;而 Attention 在长上下文下又被 KV 缓存的读写带宽牢牢绑死。把这两者捆在同一个 GPU 上,你要么用一个超大 FFN 池去迁就一个很小的 Attention,要么用一个够大的 Attention 片去浪费 FFN 算力——两种都会留下明显的效率缺口。AFD 的解法不是「折中」,而是**把两者解耦到各自最合适的硬件配比**。
## 三、AIC++:把「解聚到哪一层」变成可求解的设计空间
为了系统研究 AFD,论文构建了 AIC++AIConfigurator++)协同设计框架:它把 NVIDIA AIConfigurator 的算子级计算建模(实测 GPU 集群代价数据库)与 AstraSim 的高保真网络仿真(包粒度拥塞感知)融合起来,并基于一个定制化的 vLLM AFD 原型验证全对的全双工 Attention–FFN 执行路径的正确性。
AIC++ 的精髓在于:它显式地把「算子级计算异构性」和「跨节点通信代价」放进同一个优化目标里,从而能回答一个此前没人算清的问题——**在多大规模的集群上、对什么样的负载、Attention 该配几个 GPU、FFN 该配几个 GPU**
在 MoE 上做 AFD,通信形态会发生质变。非 AFD 部署里,MoE 的 Dispatch/Combine 通信只在参与 EP(专家并行)的 GPU 之间、源目数量匹配;而 AFD 下 Attention 和 FFN 跑在不同物理 GPU 组上,导致**非对称的扇出/扇入**:例如 8 GPU 上 EP=8 的 MoE 在所有 8 卡间交换 token,而「2 个 Attention GPU + 6 个 FFN GPU」的 AFD 配置会产生扇出——Attention GPU 生成的 token 要被分发到更多 FFN GPU。A2FDispatch)是扇出,FFN 侧入口拥塞成为瓶颈;F2ACombine)是扇入,Attention 侧入口成为瓶颈。AIC++ 把这两种传输展开成完整的双部流量矩阵,喂给 AstraSim 的分层拥塞感知网络模型。
## 四、四阶段微批重叠:AFD 吞吐的关键技巧
AFD 把每个 Transformer 层的执行拆成四个阶段,分别映射到不同的计算或通信资源:① Attention GPU 上的注意力计算;② 把后注意力隐状态、token id、每专家路由元数据 dispatch 给 FFN;③ FFN GPU 上的 MoE-FFN 计算;④ 把专家输出聚合回 Attention 侧进入下一层。现代数据中心 GPU 普遍提供全双工互联(NVLink、InfiniBand),因此返回通信可以走专用通道与正向通信并发,形成流水线。
论文给出了稳态流水线延迟的闭式表达(公式 1):把每步 token 预算 T_budget 切成 M 个微批,在半双工链路上 M=3、全双工链路上 M=4。稳态下瓶颈阶段背靠背处理全部 M 个微批,非瓶颈阶段只承担一次性的管道填充/排空开销 s_i/L。最终端到端延迟 t_pipe = M·s_max + Σ(s_i/L)。**第一项是瓶颈资源决定的稳态吞吐,第二项是管道气泡。**这一公式让 AIC++ 能在 prefill 和 decode 两阶段都精确推理计算–通信代价。
值得强调的是,这个闭式模型的价值不在于「算出一个数字」,而在于它把 AFD 的吞吐上限**显式地绑定到了瓶颈资源的稳态速率**。换言之,只要你能定位到瓶颈是 Attention 计算、FFN 计算、还是 A2F/F2A 通信,就能直接知道该往哪一侧加 GPU、加多少,而不是靠拍脑袋调比例。这也是 AIC++ 与单纯「跑一遍搜索」最本质的区别:它把经验性的部署决策,变成了可解释、可外推的模型驱动决策。
## 五、位置感知 GPU 放置:把最频繁的通信绑到最快的链路
AFD 与 P/D 分离叠加后,会同时存在两种不同粒度的通信:① 每层都发生的 MoE Dispatch/CombineO(层) 每请求),频率高、随层数线性增长;② 每个请求只发生一次的 KV 缓存传输(prefill 把 KV 发给 decode)。AIC++ 的策略是**频率驱动**的:把最频繁的层内 A2F/F2A 流量绑定到最高带宽的 scale-up 域(节点内 NVLink),而把较少的 KV 传输推迟到 scale-out 域(节点间 InfiniBand)。
论文用 2A2F(等价于 EP=4)配置、两个 8-GPU 节点做了对照(Table 2):隔离放置下 KV 传输跨节点走 InfiniBand25 GB/s),配对放置下 KV 留在 NVLink450 GB/s),带来 **18× 的 KV 传输加速**。这一结论对任意多级网络层级都成立——始终让最频繁的通信模式占用最快的可用链路。
## 六、集群级评估:吞吐与交互性,谁说了算?
论文在 128 张 B200 SXMTensorRT-LLM 后端)上,对 Qwen3-235B、GPT-OSS-120B、Nemotron3-120B、DeepSeek-V3.2 四款架构,在 Chat/Coding/Agentic Coding 三类负载下做了穷举式设计空间搜索(副本数 2–128 GPU,动态组合 TP/DP/EP 与 A/F GPU 组)。
两个核心结论(Key Takeaways)非常重要,值得做智算/推理 Infra 的人反复读:
**结论 1(系统吞吐):聚合部署靠数据并行并发胜出大多数面板。** 用 16 个单节点 8-GPU 副本、通过 EP 持有专家 FFN 的聚合 servingchunked-prefill),靠把 chunked-prefill 气泡摊到整个副本舰队、并行吞掉很多不相交 token 批次,在大多数面板上吞吐最高。解聚只在「更宽的搜索暴露出非对称副本形状」时才赢——比如「少数大 8-GPU decode worker 喂很多小 2-GPU prefill worker」,或解聚+AFD 下把 Nemotron 的吞吐翻倍。
**结论 2(用户交互性):AFD 在每个面板上都赢。** AFD 通过按负载和模型定制 Attention/FFN 比例、用 AFD 专属的微批重叠技术榨干计算–通信重叠,始终把延迟做到最低。例如在 DeepSeek-V3.2 上,MLA + 稀疏注意力把 KV 缓存压缩得极狠,使得整个 524K 前缀能塞进 2 张 GPU 的 HBM,于是 2A+126F2 个 Attention + 126 个 FFN)这种「反直觉」布局反而最优——AFD 把所有显存让给 FFN,只留极少 Attention GPU 跑大并发 decode 批次去匹配 126 卡 FFN 池的速率。
而在严格 SLO 下(TTFT<50/100/150msTPOT≤15ms),Figure 2 显示**只有 AFD 类方案(Agg+AFD、P/D Disagg+AFD)能解锁可行配置,撑起约 4k tokens/s 的系统吞吐;非 AFD 部署直接不可行**(红色叉号)。这正对应 agentic coding 这类长上下文、强 SLO 的真实生产场景。
### AFD 何时「独赢」吞吐:不是所有面板都该解聚
很多人会误读结论 1,以为「AFD 输了吞吐」。论文其实给出了非常细的边界。首先,**AFD 自己单独就赢下了一个面板**:在 GPT-OSS-120B 的 chat 负载上,纯 AFD 配置拿下了吞吐前沿的最优;其次,在 Nemotron-3-Super 上,解聚+AFD 的「tiny xPyD 分片」把聚合部署的吞吐直接**翻倍**。这说明「解聚是否划算」高度依赖模型架构与负载组合。
更微妙的是**注意力切片宽度对架构的强依赖**。Qwen3-235B 这类稠密 GQA 模型,因为注意力本身算得重,需要更宽的注意力片:在 agentic coding 负载下出现 8A+120F 的布局。而 DeepSeek-V3.2 在 524K 前缀下,吞吐最优布局会「翻转」成注意力密集的 96A+32F;一旦 TTFT 预算更紧、瓶颈从状态传播转回计算,布局又回到 FFN 密集切分。这种**随上下文长度和 SLO 预算来回翻转的最优 A/F 比**,恰好证明了「固定比例部署」的脆弱,也印证了 AIC++ 这种建模驱动方法的必要性——人工拍出的比例,几乎不可能覆盖这种翻转。
## 七、长上下文案例:AFD 是唯一可行解
论文还专门做了长上下文压力测试(ISL=500K+OSL=10K,以及 prefix=1M+ISL=4K+OSL=500),在 B200 上用 AFD + 4 阶段微批(M=4)。结果令人印象深刻:
- **大 prefill 场景(ISL=500K**Agg+AFD M4 在 64 GPU 达 1346.5 tok/s、128 GPU 达 2693.0 tok/s,最优布局是 [28A+4F]Attention/FFN 比 7:1)。
- **大前缀场景(prefix=1M)**:非 AFD 模式直接不可行——因为每 GPU 显存需求 M_shared = W+A+K+N+O ≈ 298 GiB,超过 B200 的 180 GiB 上限。AFD 把权重和激活拆分到 Attention/FFN 两组,把有效每 GPU 需求降到 M_AFD = max(M_attn, M_ffn) ≈ 165 GiB,刚好塞进显存。Disagg+AFD M4 在 128 GPU 达 1858.9 tok/s(略胜 Agg+AFD 的 1843.0)。
这个数字揭示了一个常被忽视的事实:**AFD 的内存切分收益,本质上是在「把权重/激活从 Attention GPU 上挪走、给 KV 缓存腾地方」**。在 1M 前缀这种单 GPU 显存根本装不下模型+激活+KV 的场景里,AFD 不是「更快」,而是「能跑」。
## 八、生产落地与行业趋势:AFD 已经从论文走进系统
这篇论文不是空中楼阁,它点名的几个方向已经或正在成为真实系统:
- **vLLM AFD PR #29772**:社区已经在 vLLM 0.16 上实现 MoE 的 A/F 解聚运行时(NCCL P2P 传输、1:1 配对),论文在其基础上重构成 M×N 双部配对、把 MoE router 移到 Attention 侧、并引入零集合通信的 FusedMoE.forward_pre_routed 入口。
- **StepMeshStepFun, 2025**:专为 AFD 设计的通信库,采用与论文一致的 M×N 双部点对点发送/接收模式。
- **异构片上加速器**NVIDIA Groq 3 LPX、Rubin CPX、Intel SambaNova 这类「节点内异构计算单元」的出现,正是 AFD 成为有效策略的硬件土壤——高带宽 scale-up 互联让访存密集的 Attention 跑在内存富余的设备上,计算密集的 FFN 跑在算术吞吐高的加速器上。
论文也诚实给出了 AFD 的代价:每个 AFD 副本消耗更多 GPU,因此在「纯吞吐」维度,聚合部署在大多数面板上仍占优;AFD 的最大价值在**延迟敏感点**和**超出单 GPU 显存上限的长上下文区间**。这与「解聚不是银弹,而是要按负载画像决策」的工程常识一致。
### 对国产 AI 芯片与智算中心的启示
把视线拉回国内的智算建设,AFD 的启示格外现实。昇腾(Ascend)、沐曦(MetaX)、寒武纪、壁仞、昆仑芯等国产 AI 芯片,普遍在节点内提供高带宽的 scale-up 互联(如昇腾的 HCCS、昆仑芯的 XPU-Link),而跨节点走以太网或定制高速网。这与 AFD「层内高频通信绑节点内、低频 KV 走跨节点」的放置原则**高度契合**——国产芯片的异构互联拓扑,反而可能是 AFD 落地的一块好土壤。
更关键的是,国产大模型(如 DeepSeek 系列、Qwen 系列)几乎都是 MoE 架构,Attention 与 FFN 的异构性完全适用 AFD 的建模框架。对智算中心运营方而言,与其一味追求「单卡算力峰值」,不如按**负载画像做 rate-matching**:对长上下文、强 SLO 的推理业务,把 Attention 片与 FFN 片按 AIC++ 式建模动态配比,往往比堆更多同构副本更省卡、时延更低。
## 九、给我们的启示:推理 Infra 正在从「粗粒度放置」走向「算子级解聚」
对做智算中心和推理平台的团队,这篇论文给出几条可直接落地的原则:
1. **Attention/FFN 比例走 rate-matching**:AFD 只分配「刚好匹配 FFN 输出速率」所需的 Attention GPU。便宜低显存的注意力(MLA+DSA、滑窗 GQA)用小 Attention 片就能喂大 FFN 池(90%+ 集群给 FFN);重注意力或大 KV 则需放大 Attention 片。
2. **通信亲和度决定放置**:最频繁发生的层内 A2F/F2A 绑到节点内 NVLink18× KV 传输收益),低频 KV 传输才走跨节点 InfiniBand。
3. **长上下文是 AFD 的确定性战场**:当 prefix 大到单 GPU 装不下时,AFD 的内存切分是唯一可行路径,应优先在此类负载上启用。
4. **建模驱动优于拍脑袋**:AIC++ 这类「算子级计算建模 + 网络仿真」框架,才是规模化部署前该有的决策工具,而不是靠经验搜比例。
### SLO 视角:AFD 的胜负手在「延迟预算」
把 Figure 2 的 SLO 结果拆开看,会发现一个朴素但常被忽略的道理:AFD 的优势是**带约束的优势**。论文把 TTFT 上限设成 50/100/150 ms 三档,TPOT 上限统一 15 ms。在「无 SLO、纯求吞吐」的目标下,聚合部署往往更能打;可一旦加上硬约束,聚合部署的大量面板直接变成红色叉号——搜索器根本找不到满足 SLO 的部署配置。所以对智算中心的启示是——**先定 SLO,再谈解聚**。如果你的业务对首字延迟和逐字间隔不敏感(比如离线批量摘要),聚合部署可能更省卡;但只要涉及实时对话、agentic 工具调用这类强 SLO 场景,AFD 就是绕不开的底座。
### 两个常见误区
误区一:「解聚层级越多越好」。论文明确给出反例——AFD 每个副本消耗更多 GPU,在纯吞吐面板上聚合常胜。解聚是**按负载画像做的权衡**,不是越细越优。误区二:「AFD 只能靠论文里的 AIC++ 才能用」。事实恰恰相反,vLLM PR #29772 已经把 MoE 的 A/F 解聚跑通,StepMesh 提供了通信库,意味着普通团队**不必从零造轮子**,只需要在现有运行时上把比例配好、把放置绑对链路即可上手。
## 十、小结与延伸阅读
AFD 代表了大模型推理解聚的第三级跳:从 chunked-prefill,到 P/D 分离,再到把 Attention 和 FFN 也拆开。它不会在所有场景都赢(纯吞吐仍常被聚合部署压制),但在**严格延迟 SLO**和**超长上下文**这两个越来越主流的战场上,AFD 已是不可替代的底座。随着 Groq 3 LPX、Rubin CPX、SambaNova 这类异构片上加速器的普及,算子级解聚会从论文走向默认的部署原语。
延伸阅读:PD 分离开山作 DistServearXiv:2401.09670)、SplitwisearXiv:2311.18677);MoE 解聚 MegaScale-InferarXiv:2504.02263);vLLM AFD 实现 PR #29772;以及本工作的配套建模工具 AIConfiguratorarXiv:2601.06288)与网络仿真 AstraSim。同期值得关注的还有 ICML 2026 的《Theoretically Optimal Attention/FFN Ratios in Disaggregated LLM Serving》(arXiv:2601.21351),它从概率负载模型推导出最优 A/F 比的闭式解,与本文的实证结论相互印证。
> 本文由 arXiv 论文自动解读系统生成,基于 arXiv:2605.28302《How Far Can Disaggregation Go? A Design-Space Exploration of AttentionFFN Disaggregation for Efficient MoE LLM Serving》(Hanjiang Wu 等,Georgia Tech + Intel + Google + Google DeepMind2026-05)。内容为对原论文的深度技术解读与工程点评,所有数据均引自原论文图表与正文。AI 辅助创作,转载请注明出处。
@@ -0,0 +1,85 @@
# 📊 文章摘要:当 PD 分离成为标配,推理的未来在 AFD
> **原文**[2026-08-05_当PD分离成为标配_推理的未来在AFD.md](./2026-08-05_当PD分离成为标配_推理的未来在AFD.md)
> **原文链接**https://mp.weixin.qq.com/s/5YsLOl4oIfHzNdi8pbmURQ
> **来源**:微信公众平台(小哥人工智能笔记)
> **作者**:小哥人工智能笔记
> **发布日期**:2026-08-05(原文未标注明确日期,按下载日占位;解读论文 arXiv:2605.28302 为 2026-05
> **摘要日期**2026-08-06
> **价值评级**:⭐⭐⭐ 高
---
## 核心命题
> **算子级解聚** — 指出推理解聚的下一级是 AFD(AttentionFFN 解聚),并用 AIC++ 建模框架证明"解聚到哪一层、A/F 各配多少 GPU"应由模型驱动计算而非拍脑袋——这是本批文章中最具前瞻性的认知增量。
---
## 文章概要
本文解读 Georgia Tech + Intel + Google 等联合论文《How Far Can Disaggregation Go?》(arXiv:2605.28302),提出推理解聚"三级跳"演进:chunked-prefill → PD 分离 → 算子级 AFD(把 Attention 与 FFN 拆到不同 GPU 组)。论文以 AIC++ 协同设计框架(算子级计算建模 + AstraSim 网络仿真)在 128 卡 B200 上对四类 MoE 架构穷举搜索,核心结论:纯吞吐场景聚合部署常胜,但严格 SLO 下只有 AFD 可行(约 4k tokens/s),1M 前缀长上下文场景非 AFD 不可行(每 GPU 需求 298 GiB 超 B200 的 180 GiBAFD 切分后降至 165 GiB)。价值在于把 PD 分离置于更大的演进脉络,并给出 rate-matching、位置感知放置、建模驱动等可落地原则;局限是数据全部来自论文仿真与原型,AFD 生产系统(vLLM PR)尚在早期。
---
## 关键要点
1. **解聚三级跳框架** — chunked-prefill(切块减气泡)→ P/D 分离(算力 vs 带宽错配)→ A/F 解聚(块内访存 vs 计算错配);AFD 是"叠在 PD 之上的下一级解聚"而非替代者。 `[分类: 范式突破]`
2. **块内异构的量化证据** — 稠密 GQA 模型长上下文下 Attention 运行时占比从 4K 的 41%/59% 飙到 0.5M 的 87%/96%Attention/FFN 占比随上下文单调上升且不同架构斜率不同,故 A/F 配比"没有统一答案"。 `[分类: 共识]`
3. **AIC++ 建模框架** — 融合 AIConfigurator 算子级计算建模与 AstraSim 包粒度网络仿真,把"A 配几个 GPU、F 配几个 GPU"变成可求解的设计空间问题;四阶段微批重叠给出闭式解 t_pipe = M·s_max + Σ(s_i/L),把吞吐上限显式绑定到瓶颈资源的稳态速率——这是"建模驱动替代拍脑袋"的方法论核心。 `[分类: 范式突破]`
4. **位置感知 GPU 放置** — 频率驱动:高频层内 A2F/F2A 流量绑节点内 NVLink,低频 KV 传输走跨节点 InfiniBand;对照实验显示该放置带来 18× 的 KV 传输加速(25 GB/s → 450 GB/s)。 `[分类: 共识]`
5. **"AFD 不是银弹"的边界** — 128 卡穷举搜索显示:纯吞吐下聚合部署(chunked-prefill + EP)在大多数面板胜出,解聚仅在更宽搜索暴露非对称副本形状时才赢;AFD 每个副本消耗更多 GPU。 `[分类: 共识]`
6. **AFD 的两个确定性战场** — 严格 SLOTTFT≤150ms/TPOT≤15ms)下只有 AFD 类方案可行(约 4k tokens/s,非 AFD 全红叉);1M 前缀场景非 AFD 直接不可行——AFD 的内存切分本质是"把权重/激活从 Attention GPU 挪走给 KV 腾地方",此处它不是"更快"而是"能跑"。 `[分类: 共识]`
7. **反直觉最优布局与 A/F 翻转** — DeepSeek-V3.2 的 MLA+稀疏注意力把 524K 前缀塞进 2 卡 HBM 后,2A+126F 布局反成最优;同模型吞吐最优布局会随上下文与 TTFT 预算在 96A+32F 与 FFN 密集间来回翻转——印证固定比例部署的脆弱。 `[分类: 未探索]`
8. **国产芯片的落地土壤** — 昇腾 HCCS、昆仑芯 XPU-Link 等节点内高带宽互联与"层内高频绑节点内"放置原则高度契合;国产 MoE 大模型(DeepSeek/Qwen 系列)完全适用 AFD 建模框架,但国产芯片上的 AFD 实测仍是空白。 `[分类: 未探索]`
---
## 批判性分析
### 假设前提
立论建立在四个前提上:MoE 是主流大模型架构(结论对稠密模型适用性弱);数据中心存在 scale-up/scale-out 两级网络拓扑且节点内带宽显著高于跨节点;用户有可量化的 SLO 预算("先定 SLO,再谈解聚");AIC++ 的算子级计算建模数据库(基于 NVIDIA AIConfigurator 实测)对目标集群成立。
### 论据与逻辑
证据链在同类文章中属于上乘:128 卡 B200、四类架构(Qwen3-235B/GPT-OSS-120B/Nemotron3-120B/DeepSeek-V3.2)、三类负载穷举式设计空间搜索,结论 1(吞吐)与结论 2(交互性)分开表述且各自给出反例(AFD 单独赢下 GPT-OSS chat 面板、Nemotron 吞吐翻倍),边界刻画诚实。但全部数据来自仿真(AstraSim)与定制 vLLM 原型,缺乏大规模生产实机验证;闭式模型的价值论述充分,其精度边界(仿真与实机的偏差)未量化。
### 边界与局限
作者明确给出适用边界:纯吞吐、无 SLO 场景聚合部署常胜,解聚不是越细越优;结论针对 MoE 模型,对稠密 GQA 模型(如 Qwen3-235B)需更宽 Attention 片,配比决策更复杂;1M 前缀结论基于 B200 的 180 GiB 显存上限,随显存增长该"唯一可行"优势会收窄;生产落地(vLLM PR #29772、StepMesh)仍在早期,A/F 双部配对、MoE router 迁移等实现细节的稳定性与生态成熟度未经检验。
---
## 可引用金句
> "AFD 的价值不只是「更快」,更是在特定战场上「能不能跑」。"
> "在 1M 前缀这种单 GPU 显存根本装不下模型+激活+KV 的场景里,AFD 不是「更快」,而是「能跑」。"
> "先定 SLO,再谈解聚。"
---
## 总体评价
**亮点**
- "解聚三级跳"框架清晰,把本批 PD 分离文章(DistServe 等)自然纳入更大演进脉络
- AIC++ 建模驱动方法论是真正的方法论增量:把经验性部署决策变成可解释、可外推的模型驱动决策
- 边界意识出色:明确"解聚不是银弹"、给出纯吞吐反例、指出固定 A/F 比例的脆弱
- 对国产芯片与智算中心的落地启示(rate-matching、放置原则)具有现实针对性
**不足**
- 全部结论依赖论文仿真与原型,实机验证不足,关键数字(4k tokens/s、18×)应视为仿真估计
- 对 AIC++ 建模精度、仿真与实机偏差未作讨论
- 文章为 AI 解读系统生成,部分表述偏综述腔,深挖需回溯原论文
**适用场景**:智算中心与推理 Infra 团队做中长期技术规划(了解 PD 分离之后的演进方向);关心 MoE 模型规模化部署的架构师;长上下文(500K-1M)业务场景的方案选型参考。
**关联建议**:回溯原论文 arXiv:2605.28302 及其配套工具 AIConfiguratorarXiv:2601.06288)与 AstraSim;本批 PD 分离文章构成其前置知识(DistServe 的动机、marcus 的 vLLM 机制、丁师兄的落地代价);延伸阅读 SplitwisearXiv:2311.18677)、MegaScale-InferarXiv:2504.02263)、vLLM AFD PR #29772 与 StepMesh,以及 ICML 2026《Theoretically Optimal Attention/FFN Ratios in Disaggregated LLM Serving》(arXiv:2601.21351)的最优 A/F 比闭式解。
---
## 配图
![-](../../金鹏/20260806/20260806-006.png)
@@ -0,0 +1,251 @@
# 从分散提效到 AI Native 组织的实践
> **来源**:微信公众平台
> **作者**:数字人BuilderAgent团队
> **发布日期**2026-08-06
> **原文链接**https://mp.weixin.qq.com/s/AgMLIqbA6PeGW7phFJAvOg
---
点击蓝字,关注我们
作者 | 数字人BuilderAgent团队
导读
introduction
本文聚焦一个扎心的悖论:AI 工具全面普及后,单点效率明显提升,但需求整体交付周期并未显著缩短。作者结合行业数据指出,真正消耗 80%+ 交付周期的并非执行速度,而是角色之间的等待、交接与信息损耗。
据此提出 AI 提效分级框架(L1/L2/L3 与 AI Native 组织 两大理念,打破产研测运维职能边界,以 BuilderAgent 实现需求到上线的全流程闭环,让提效结果"可复制、可持续"。
_全文 3981 字,预计阅读时间 4 分钟_
GEEK TALK
01
一个扎心的悖论:人人都在提效,周期却没有显著缩短
__1.1 发现问题__
自全面接入 AI 以来,整个研发周期的各个环节包括产品、设计、研发、测试、运维等都在积极利用 AI 工具进行提效,但回头盘点发现,结论有点反直觉:____团队里每个人都感觉效率有明显提升,但需求从提出到上线的整体周期并没有等比的显著缩短。____
____为什么?____
古法需求从提出到交付全流程如下:____需求洞察________→ 需求提出 → 需求评审 → 方案设计 → 开发实现 → 测试验收 → 监控建设 → 上线发布 → 容量评估 → 数据回收与复盘迭代____。分析核心环节,发现当前该流程存在以下____四大痛点____
____痛点一:需求拆解到独立角色,协作成本高____
- 各角色串行依赖,空等耗时
- 各角色信息不对称,沟通耗时
____痛点二:各阶段信息局部维护,信息传递损耗大,易出错____
- 各角色文档无显式关联约束,靠人工维护信息一致性,效率低
- 各角色文档独立维护,一次变化需人工多次逐层传播,易出错
____痛点三:历史项目知识散落各地,沉淀效率低____
- 历史需求/知识散落在各角色文档/对话/线下讨论中,个体获取知识效率低
- 关键经验留在个体手里,无法高效形成团队经验并在组织复用
____痛点四:传统开发周期长,需求吞吐慢____
- 传统开发包括开发->联调->测试等多个阶段,周期长&成本高
- 项目开发成本高,需求阶段必须开展充分研讨论证,整体需求交付周期被进一步拉长
____AI能力分散地嵌入在单点环节,尚未形成从需求发现到需求优化的完整闭环____,我们得到的只是"更快的局部",而不是"更短的整体"。
__1.2 数据印证__
查询业界数据与研究,发现结论高度一致,而且能从两个视角直观感知。
____视角一:即使在"研发环节内部",写代码也只是一小部分。____
[图片]
____视角二:把镜头拉到"需求 idea→上线"整条流程,编码占比更小——大头是等待与交接。____
核心度量是____流动效率(Flow Efficiency)= 真正干活时间 ÷ 总交付周期____:
[图片]
两组数据相互独立,却拼出同一条因果链:____单点________AI 优化了"一小段里的一小部分",撬不动占 80%+ 的流程性等待与交接。____
GEEK TALK
02
两个核心理念
基于上述问题,结合AI当前实际能力、业务差异化的具体场景,我们构思了两个核心理念
____1. AI提效分级框架(L1 / L2 / L3____
____2. 流程精简与 AI Native 组织____
__2.1 AI提效分级框架(L1 / L2 / L3__
____三级的本质区别:Context归属,而非能力高低;选择的核心依据是——这个需求的完成,依赖多少"人类独有、AI当前不具备"的context。____
[图片]
[图片]
__2.2 流程精简与 AI Native 组织__
____围绕 AI 重新设计流程与组织,而不是把 AI 缝进旧流程里。____传统模式里,PM 管需求、UE 管设计、RD 管开发、QA 管测试、OP管运维,各自对自己那一段负责,中间靠交接文档拉齐——这些交接、对齐、返工、排期,才是周期里最重的开销。
我们推动的转变是:____模糊 PM/UE/RD/QA/OP 的职能边界,让他们以 Builder 的新角色对同一个业务结果共同负责,共享同一份 Context 和交付物。____ ____AI Native 组织不取消专业角色,而是打破职能边界,隐性知识显性化,持续沉淀能力,专家协同保障平稳落地。____
[图片]
GEEK TALK
03
BuilderAgentAI交付智能体
基于 AI Native 的两个核心理念,参考 SDD 和 AI-DLC 思想,我们协同 QA/OP 共建 ____BuilderAgent____,打破职能边界,全流程线上化,每次全流程需求交付都是一次沉淀&进化,AI+专家机制保障全流程稳定落地。
[图片]
__3.1 七个环节__
[图片]
____1. 需求发布____
把模糊的需求信号收敛成一份人和 AI 都能消费的结构化契约,是全链路的单一事实源。以模板固定 Spec 的必填字段(目标、边界、验收标准、依赖的 Context 归属);AI 基于历史案例、知识库与已沉淀的 Skill 自动起草初稿,人只补其中的隐性判断(战略取舍、用户/体验直觉)。____验收标准必须写成"可被 QA 自动判定"的形式____——这是后续 QA 能否走 L3 的前提,也是本环节最硬的一条约束。
____2. 方案设计____
在实现之前确定技术路径与关键取舍,替代古法中"拉一轮评审会"。AI 依据 Spec 生成带判断的候选方案(含取舍理由与代价对比);Builder 只在____关键决策点____ review;一旦有变更,直接在 Spec/workspace 上就地改,最终生成一份可执行的方案骨架。
____3. 开发实现____
把方案变成可运行产物。Builder 与 AI 在同一个(沙箱化的)workspace 内编码、配置、自测,共享同一份 Spec 上下文,无需把上下文"搬运"到别的工具;人负责异常与边界兜底。____每一次人工补位(人替 AI 改了什么、为什么改)都被记录____,作为后续能力沉淀的原料。
____4. 自动测试____
判定产物是否达到 Spec 定义的标准。验收标准直接取自 Spec;系统自动CR、生成并执行用例,规则明确的用例走 L3 自动跑并产出报告;测试资产可复用、可回归。验收未过则进入修复闭环。
____5. 发布上线____
把验收通过的产物安全放量。以灰度策略 + 指标监控 + 回滚预案为骨架,规则清晰时自动执行;重大变更经"发车机制"人审。
____6. 数据反馈____
形成效果结论,并产出下一轮需求信号,闭合反哺回路。指标口径在系统内已定义,自动采集与对比;把效果异常或新机会点转化为新的需求信号。数据回收不是终点,而是下一轮的起点。
____7. 持续进化____
随着需求的持续迭代,把每次专家的补位与决策沉淀为组织能力,让提效可复制、不依赖个别熟手,同类型需求周期越来越短,同人力吞吐越来越多
__3.2 五个关键构件__
五个构件不是五个独立工具,而是围绕"同一份上下文"咬合的一组齿轮。
[图片]
____1. Spec 工具____
根据业务特点,开发Spec工具,基于代码与历史知识,反复追问需求方,把"需求澄清一次做对"落成____可被人和 AI 同时消费的结构化契约____——包含目标、需求描述、边界、验收标准等。
____2. 沙箱与workspace____
业务维度构建 workspace,结合沙箱能力,可基于沙箱模板快速拉起一个____包含且仅包含____该业务相关的代码库、skills、知识、工具等完备的独立的开发部署环境,为人人都是builder的目标提供坚实基础
[图片]
____3. Builder 协同,从"交接"到"共担"____
模糊各角色边界,面对L3/部分L2需求,Builder个人可在BuilderAgent完成全生命周期;L1和复杂的L2,则各 Builder 对同一业务结果共同负责,PM 不再"写完 PRD 就甩给 RD",而是和 RD 在同一个 workspace产出Spec文档,RD可基于Spec文档继续后续流程;QA 的验收标准前移进 Spec,而不是等提测才登场。
____4. QA 自动化____
协同QA共建Spec工具、建设AICR/用例生成/用例执行/E2E测试/测试报告生成等能力,形成"Spec 定标准 → QA 自动验 → 结果回流 Spec"的小闭环
____5. 智能运维____
协同OP共建智能运维工具,把上线后的系统运行纳入 BuilderAgent 中。智能运维持续获取 Spec、workspace、QA 报告、发布变更、历史故障和运行知识,结合实时指标、日志、链路与流量数据,主动完成异常感知、问题分析、风险处置和结果反哺,让系统从"出现告警后等人处理"转向"持续感知、主动分析、分级处置"。
__3.3 缺陷修复的重新开发闭环__
验收或上线后发现问题,不能就地打个补丁了事——那样验收标准不会更新,同类缺陷会反复出现。BuilderAgent把"修复"设计成一条____回流 Spec 的闭环____。
[图片]
闭环机制:
____1. 触发____:QA 自动化验收未通过,或上线后数据回收/智能运维监控发现问题。
____2. 缺陷归因____:定位问题出在哪一层——是需求理解(Spec)、方案取舍,还是实现细节。这一步决定修复的分级。
____3. 回流 Spec____:把缺陷转化为____新的验收标准或边界补充____写回 Spec。这是整条闭环最关键的一步,下面单独论证。
____4. 重新修复____:按缺陷层级定级修复( L2/L3);若根因在需求理解,则回到 Spec/方案层(L1/L2)重做。
____5. QA 回归验证____:复用原用例 + 新增针对该缺陷的用例做回归,确保修复不引入新问题;通过则重新发车,否则回到第 4 步再循环。
____6. 沉淀____:把缺陷模式与新增用例沉淀为规则/用例库。
____为什么必须回流 Spec,而不是就地打补丁____:就地打补丁只修好了"这一个 case",验收标准原地不动,下次同类需求进来,QA 还是拦不住,于是缺陷复发、返工重来。
__3.4 知识 / Skill 自动沉淀与更新机制__
随着需求的持续迭代,把每次人工补位沉淀为组织能力,让提效可复制、不依赖个别熟手,同类型需求周期越来越短,同人力吞吐越来越多,L1 逐步演进为 L2/L3。
[图片]
____沉淀机制:____
____1. 触发____:一次交付完成或一次缺陷修复完成,自动启动沉淀,而不是靠人工事后补写文档。
____2. 抽取____:从本次开发中抽取可复用信号——专家补位的 diff、Spec 的增量变更、新增的缺陷用例、方案决策及其理由。
____3. 生成 / 更新____:由 AI 把上述信号归类,生成或更新对应资产(已存在的资产做增量更新而非新建,避免碎片化)。
- ____Skill____——可复用的操作SOP和参考
- ____规则____——约束与最佳实践
- ____验收模板____——可复用的 QA 标准
- ____知识____——沉淀的系统架构/业务知识及相关索引
____4. 回流复用____:下一轮 Spec 澄清与 workspace 拉起时自动加载相关资产,让同类需求少依赖熟手——这正是"提效可复制"的机制来源。
GEEK TALK
04
效果验证与评估
__4.1 登录改版实验需求__
[图片]
__4.2 导航栏Hover优化需求__
[图片]
GEEK TALK
05
总结
回到最初的问题:每个人都在用 AI 提效,为什么整体交付周期没有显著缩短?因为真正影响效率的,不只是单点任务的执行速度,更是角色之间的等待、交接、信息损耗与重复返工。只有围绕 AI 重新设计流程和协作方式,才能从"更快的局部"走向"更短的整体"。
这正是 AI Native 组织的核心:____以业务结果为目标,打破职能边界,隐性知识显性化,持续沉淀能力,专家协同保障平稳落地。____
现阶段的实践只是起点,未来,我们将持续推动 AI 从局部辅助走向全链路协同,让共享 Context 贯穿需求、研发、测试、上线与运维,让每一次交付都能转化为可复用的知识、规则和 Skill,更多需求将从 L1 逐步演进到 L2、L3。随着重复执行、流程衔接与反馈闭环逐步由 AI 承担,团队也将把更多精力投入业务判断、体验取舍和技术创新。AI Native 不是简单引入更多工具,而是持续更新人与 AI 的协作方式,让组织在交付业务价值的同时,具备不断学习、自我完善和加速进化的能力。
END
__推荐阅读__
- 面向 Coding Agent 的多仓库 Git Worktree
- 图灵平台:万亿级轨迹数据的秒级检索实战
- 让 Agent 按工程标准交付:AI Coding 下的质量关卡实践
- AI 写代码越来越快,质量谁来守?网盘主端 FE 的 AICR 准入实践
- 协作的逆向演进:从 Agent 逻辑重构团队管理
@@ -0,0 +1,84 @@
# 📊 文章摘要:从分散提效到 AI Native 组织的实践
> **原文**[2026-08-06_从分散提效到_AI_Native_组织的实践.md](./2026-08-06_从分散提效到_AI_Native_组织的实践.md)
> **原文链接**https://mp.weixin.qq.com/s/AgMLIqbA6PeGW7phFJAvOg
> **来源**:微信公众平台
> **作者**:数字人BuilderAgent团队
> **发布日期**2026-08-06
> **摘要日期**2026-08-06
> **价值评级**:⭐⭐⭐ 高
---
## 核心命题
> **AI原生组织** — 用"Context 归属"划分 AI 提效等级、围绕 AI 重设计流程与组织,把提效从"更快的局部"变成"更短的整体"
---
## 文章概要
本文直面一个反直觉悖论:团队全员接入 AI 后人人感觉效率提升,需求整体交付周期却没有等比缩短。作者用"流动效率"(真正干活时间 ÷ 总交付周期)指出,占 80%+ 周期的是角色间的等待、交接与信息损耗,单点 AI 优化撬不动流程性损耗。据此提出两个核心理念:AI 提效分级框架(L1/L2/L3,本质区别是 Context 归属而非能力高低)与 AI Native 组织(模糊 PM/UE/RD/QA/OP 职能边界,共享同一份 Spec 与交付物),并落地为 BuilderAgent 的七环节闭环。其价值在于挑战了"多买 AI 工具就能整体提效"的主流认知,给出了可操作的分级决策框架与"缺陷回流 Spec"的防复发机制;局限是单公司实践,验证数据以图片呈现、缺乏量化细节,大规模组织中的可复制性尚未验证。
---
## 关键要点
1. **单点提效悖论** — 每个人效率提升明显,但需求从提出到上线的整体周期没有显著缩短,因为 80%+ 周期消耗在角色间等待、交接与信息损耗上 `[分类: 范式突破]`(挑战"工具普及=整体提效"的默认假设)
2. **AI 提效分级框架 L1/L2/L3** — 三级的本质区别是 Context 归属(依赖多少"人类独有、AI 当前不具备"的 context),而非 AI 能力高低;选择等级的核心依据是需求完成所需的 Context 归属 `[分类: 范式突破]`
3. **AI Native 组织** — 围绕 AI 重新设计流程与组织,而不是把 AI 缝进旧流程;不取消专业角色,而是打破职能边界、隐性知识显性化、专家协同保障落地 `[分类: 范式突破]`
4. **Spec 作为单一事实源** — 用结构化契约(目标、边界、验收标准、Context 归属)收敛模糊需求,验收标准必须写成"可被 QA 自动判定"的形式,这是 QA 走 L3 的前提 `[分类: 共识]`
5. **缺陷修复回流 Spec 闭环** — 就地打补丁只修好"这一个 case",验收标准不更新会导致同类缺陷复发;缺陷必须转化为新验收标准或边界补充写回 Spec `[分类: 范式突破]`
6. **知识/Skill 自动沉淀机制** — 交付完成或缺陷修复后自动抽取专家补位 diff、Spec 增量、缺陷用例、方案决策,由 AI 归类生成/更新 Skill、规则、验收模板、知识,让提效不依赖个别熟手 `[分类: 未探索]`(作者称"提效可复制"的机制来源,但沉淀质量如何保证未展开)
7. **流动效率(Flow Efficiency** — 核心度量 = 真正干活时间 ÷ 总交付周期;两组相互独立的业界数据拼出同一条因果链:单点 AI 优化了"一小段里的一小部分" `[分类: 共识]`
---
## 批判性分析
### 假设前提
作者立论建立在三个假设上:一是 AI 当前能力足以承担 L3 环节(QA 自动判定、自动测试、智能运维的主动处置);二是组织愿意打破 PM/UE/RD/QA/OP 职能边界、共享同一份 Context;三是业务需求可以被结构化契约(Spec)完整表达。若需求高度依赖隐性判断、组织壁垒强或 AI 能力未达预期,框架将退化——作者承认"结合 AI 当前实际能力、业务差异化的具体场景",但对场景的适用边界未作系统界定。
### 论据与逻辑
"等待与交接占大头"的因果链由流动效率概念加两组业界数据支撑,逻辑自洽;但其间存在跳跃:从"业界数据显示写代码只占一小部分"直接推出"必须重构组织",未讨论中等力度的改进方案(如只优化交接工具而不动组织)为何不可行。两个实验案例(登录改版、导航栏 Hover)仅以截图呈现,无量化指标,无法独立验证"周期缩短"的幅度与归因。
### 边界与局限
结论的适用范围是需求可结构化、团队有变革意愿、具备 QA 自动化与智能运维建设能力的组织;强监管、需求高度模糊、或以既有职能线考核为主的场景不适用。L1→L2→L3 的演进依赖每次人工补位被记录与沉淀,若补位质量本身难以评估,沉淀可能固化错误模式。作者未讨论大规模组织(数百人以上)中共享 Context 的治理成本与安全边界。
---
## 可引用金句
> "我们得到的只是'更快的局部',而不是'更短的整体'。"
> "单点 AI 优化了'一小段里的一小部分',撬不动占 80%+ 的流程性等待与交接。"
> "围绕 AI 重新设计流程与组织,而不是把 AI 缝进旧流程里。"
---
## 总体评价
**亮点**
- 用"流动效率"概念把"整体周期不缩短"这个反直觉现象讲透,归因链清晰(单点效率 vs 流程性损耗)
- L1/L2/L3 分级以"Context 归属"而非"能力高低"为判据,是一个可迁移的决策框架
- "缺陷回流 Spec"闭环直击 AI 开发中验收标准失守、缺陷复发的真实痛点,机制设计有工程深度
- 知识自动沉淀机制把"提效可复制"落到机制而非口号
**不足**
- 效果验证数据仅以图片呈现,缺乏量化指标与基线对比,说服力打折
- 未讨论组织变革阻力(考核、权责、专业成长路径)这一落地最大障碍
- 五个构件(Spec/workspace/协同/QA 自动化/智能运维)的建设成本与前置条件未交代
**适用场景**:正在建设 AI 辅助研发体系、面临"单点提效但整体没提效"困惑的产研团队;需要设计 AI 化需求交付流程或知识沉淀机制的工程管理者。
**关联建议**:可对照阅读 vLLM 的分离式推理(prefill/decode 分离)文档,理解"拆解流程环节"在系统层与组织层的一致性;延伸阅读作者"推荐阅读"中的 AI Coding 质量关卡实践与《协作的逆向演进:从 Agent 逻辑重构团队管理》,形成组织/流程/质量三视角闭环。
---
## 配图
![-](../../金鹏/20260806/20260806-009.png)
@@ -0,0 +1,120 @@
# 揭秘老黄演讲中关键技术:PD分离!UCSD华人团队力作,LLM吞吐量跃升4倍
> **来源**:微信公众平台(新智元)
> **作者**:新智元(编辑:静音、定慧)
> **发布日期**:2026-08-05(原文未标注明确日期,文中提及黄仁勋 2025 GTC,按下载日占位)
> **原文链接**https://mp.weixin.qq.com/s/kdxJng0X3RT2UU8EnuxeSw
> 新智元报道。本文是 DistServeUCSD Hao AI Lab 华人团队)PD分离技术的中文解读,覆盖 Goodput、TTFT/TPOT、Prefill/Decode 干扰、分离架构、2P1D 实验量化、KV Cache 传输开销、DistServe vs vLLM 评估,是 DistServe 论文核心数据的中文可引用出处。
---
**【新智元导读】** 老黄 GTC 重点展示的 PD 分离技术为何成兵家必争之地?UCSD 全华人团队力作,创新性地提出预填充-解码分离技术。在严格的延迟约束下,相比现有最先进的服务系统,可实现高达 4.48 倍的有效产出率或 10.2 倍更严格的 SLO 达成率。
现在,PD 分离已经成为兵家必争之地。
前有 Mooncake/DeepSeek 等公司采用这种技术来优化大模型的推理服务,后有 Nvidia/PyTorch 基于该技术孵化下一代 LLM 服务系统。
甚至最近,黄仁勋也在 2025 GTC 的舞台上提到了 PD 分离(Prefill-Decode Disaggregation)技术,进一步证明了这一技术获得的广泛关注。
去年,来自 UCSD 的一个华人团队发布的一篇博客,就深入剖析了这一技术的原理和它的应用场景。博客地址:https://hao-ai-lab.github.io/blogs/distserve/
## 吞吐量与有效吞吐量
如今,大语言模型应用有着不同的延迟需求。例如,聊天机器人需要快速响应(比如低于 0.2 秒),而解码速度可以较为适中,仅需与人类阅读速度相匹配;代码补全则要求快速生成,以便实时提供代码建议。
文章中展示了现有的优化吞吐量的服务系统,在延迟标准下并不理想。作者提议使用「有效吞吐量」(goodput)作为大模型服务性能的改进衡量标准,它不仅关注每秒完成请求的数量,而且符合服务级目标(SLO),更好地平衡成本和用户体验。
为了提升有效吞吐量,文章提出了「预填充-解码分离」(prefill-decode disaggregation),即将预填充和解码分配到不同的 GPU 上。通过这个方法,作者搭建了一个系统原型 DistServe,在保持严格的延迟约束下,达到了比现有系统高出 4.48 倍的有效吞吐量,或者 10.2 倍更严格的 SLO。
### LLM 正在改变行业对 AI 的应用,但 LLM 服务成本仍然很高
为了降低成本,很多公司专注于提升 LLM 系统的吞吐量,即每秒处理的请求数(rps),作为每个请求成本($/req)的替代指标。大多数流行的 LLM 服务引擎,如 vLLM 和 TensorRT-LLM,都用吞吐量来衡量性能。
然而,实际应用对延迟的要求各不相同,因此服务级目标(SLO)也不同。常见的 SLO 包括:
- **首次 token 延迟(TTFT**:测量 LLM 生成第一个 token 的时间
- **每个输出 token 的时间(TPOT)**:测量两个连续生成的 token 之间的平均延迟
吞吐量只关注处理的请求或 token 数,却忽视了这些延迟需求。作者引入了有效吞吐量(goodput),它衡量每秒完成的符合 SLO 的请求数(同时满足 TTFT 和 TPOT 要求)。这比吞吐量更能反映服务质量,因为它考虑了成本和用户体验。
那么,到底什么是有效吞吐量?假设一个应用要求 90% 的请求 TTFT 小于 200 毫秒,TPOT 小于 50 毫秒,那么有效吞吐量就是每秒能完成的最大请求数,且至少 90% 的请求同时满足这两个条件。一个高吞吐量的应用可能有低的有效吞吐量——虽然吞吐量是 10 个请求每秒,但因为延迟约束,只有 3 个请求符合 SLO,最终的有效吞吐量只有每秒 3 个请求。
术语小结:
- **有效吞吐量(goodput)**:衡量 LLM 服务系统效能的指标,考虑了成本和用户满意度。定义为每秒系统可以完成的请求数量,同时满足指定的 SLO。
- **吞吐量**:LLM 服务系统每秒处理的已完成请求数量。
- **服务级目标(SLO)**:常见包括 TTFT、TPOT、端到端延迟(E2E)和指数加权平均(EMA)延迟。
- **预填充(Prefill)**:LLM 推理的第一阶段,处理所有输入 token,填充 KV 缓存,并生成第一个输出 token。
- **解码(Decode)**:随后的阶段,通过自回归方式生成 token,直到完成。
## 为什么现有系统无法实现高有效吞吐量?
LLM 服务请求的流程:请求进入 LLM 推理引擎,系统首先处理用户输入生成第一个 token(预填充),然后通过自回归生成后续 token(解码)。一个请求通常包括一个预填充步骤和多个解码步骤。
LLM 服务系统通常将预填充和解码一起批处理(迭代调度或连续批处理 continuous batching),使 GPU 能尽量大批量处理,从而提高吞吐量。vLLM 和 TensorRT-LLM 等系统都广泛采用这一方法。
然而,预填充和解码在计算上有非常不同的特点。预填充非常依赖计算,即使是一个小批量的预填充,或仅仅是一个足够长的预填充,也会迅速饱和 GPU 计算资源。解码则需要更大的批量来达到计算瓶颈,且更容易受到 GPU 内存带宽限制的影响。
将这两者一起处理不利于优化有效吞吐量,原因有二:
1. 预填充和解码之间会互相干扰,导致性能下降;
2. 预填充和解码的资源分配及并行策略会相互耦合,难以优化。
### 预填充和解码的干扰
把两个请求批量到一个 GPU,解码(R1)延迟显著增加,预填充(R2)延迟稍微上升;稳定请求流中,每次解码遇到预填充请求时就会被「卡住」,解码延迟意外增加。这种干扰导致:为了满足 TTFT 和 TPOT 的 SLO,系统必须过度配置资源,尤其当某个 SLO 特别严格时。
此外,预填充和解码的资源分配和并行策略是耦合的。比如,当 TTFT 要求严格时,预填充阶段适合用张量并行(TP)来满足紧凑的延迟目标,而解码则更倾向于数据并行或流水线并行来提升吞吐量。
## 分离预填充和解码
直觉很简单:将预填充(Prefill)和解码(Decode)分配到不同的 GPU,并为每个阶段定制并行策略。这自然解决了上面两个问题:
1. 预填充和解码之间没有干扰,使得两个阶段都可以更快完成,并更容易满足各自的 SLO;
2. 资源分配和并行策略解耦,优化可以针对预填充和解码分别进行。
当请求到达系统时:① 首先进入预填充工作节点并完成预填充阶段;② 然后,系统将其中间状态(主要是 KV 缓存)迁移到解码工作节点,并进行多个解码步骤以生成后续 token;③ 请求在生成完成后离开系统。
### 一个简单的实验验证
在单个 A100-80GB GPU 上运行一个 13B 的 LLM,使用输入长度 512、输出长度 64 的合成工作负载,假设请求按泊松分布到达。逐渐增加请求速率(x 轴),测量 P90 TTFT 和 P90 TPOTy 轴)。
将 SLO 设置为 P90 TTFT 小于 0.4 秒,P90 TPOT 小于 0.04 秒。现有系统使用 1 个 GPU 时,大约支持 3 rpsTTFT),而 TPOT 则支持 1.6 rps。由于需要同时满足两个约束,现有共同处理系统的有效吞吐量为:
**有效吞吐量(同时满足)= min(3, 1.6) = 1.6 rps(每个 GPU)。**
分离后,性能显著提升。预填充工作节点和解码工作节点在仅处理单个阶段时,可分别达到约 5.6 rps 和 10 rps。更重要的是,可以灵活地分配 2 个预填充工作节点与 1 个解码工作节点(记作 2P1D),总共使用 3 个 GPU。此时:
**有效吞吐量(2P1D= min(5.6 × 2, 10) = 10 reqs/s ÷ 3 GPUs ≈ 3.3 reqs/s(平均每个 GPU)。**
这个实验表明,简单的分离方法在没有任何并行化的情况下就能实现 **2 倍**的有效吞吐量(3.3 rps VS 1.6 rps)。额外的好处是,预填充与解码的分离还能够为每个阶段选择最佳的并行策略来优化有效吞吐量(作者称之为「定制并行 tailored parallelism」)。
## KV 缓存传输
分离的一个代价是需要在预填充和解码 GPU 之间传输中间状态(即 KV 缓存)。乍一看,KV 缓存是 LLM 推理中一个大的内存开销,而在 GPU 之间传输 KV 缓存似乎是一个瓶颈。
但相反,通过合理的放置,KV 缓存传输的开销可以被有效地最小化,低至小于一个解码步骤的时间,这得益于今天高速的网络技术,如 NVLink 和 PCI-e 5.0。
假设有 8 通道 PCIe 5.0 x16(每个链路 64GB/s)作为 GPU 之间的节点内网络。给定一个 2048 token 的请求,在服务 OPT-175B 时传输 KV 缓存的延迟为:
**延迟 = 2048 token ×(4.5 MB/token)÷(64GB/s × 8= 17.6 毫秒**
这个延迟小于 OPT-175B 的单个解码步骤的时间(约 30-50 毫秒,使用 A100)。对于更大的模型、更长的序列或更先进的网络(例如具有 600GB/s 带宽的 A100-NVLink),KV 缓存传输的比较开销与单个解码步骤相比变得更加微不足道。精心放置预填充和解码工作节点以利用高带宽网络,可以有效地隐藏 KV 缓存传输的开销。
## DistServe:评估分离的效果
作者在一个名为 DistServe 的系统原型中实现了所提出的技术,并在三个具有不同延迟约束的工作负载和数据集上与现有系统(vLLM)进行了比较:聊天机器人、代码补全和摘要。
- **聊天机器人**DistServe 的有效吞吐量比 vLLM 高 **2.0 倍到 3.41 倍**
- **代码补全**DistServe 的有效吞吐量比 vLLM 高 **3.2 倍**,并且 SLO 比 vLLM 严格 1.5 倍。通过消除解码任务的干扰,并为预填充定制张量并行策略,DistServe 减少了预填充任务的平均延迟,从而满足更多请求的 TTFT 要求。
- **摘要**DistServe 的有效吞吐量比 vLLM 高 **4.48 倍**,并且 SLO 比 vLLM 严格 **10.2 倍**。由于 vLLM 将预填充和解码放在一起,它在解码阶段的减速更大,未能满足 TPOT 要求。
## 团队成员
以上研究出自加州大学圣地亚哥分校的 Hao AI 实验室,全部来自于华人研究者:
- **Yinmin Zhong(一作)**:北京大学计算机系统研究组三年级博士生,导师金鑫。
- **Junda Chen**2023 年秋季入学的计算机科学博士生,研究高效 LLM 服务系统。
- **刘胜与**:北京大学本科生。
- **Hao Zhang**:加州大学圣地亚哥分校计算机科学与工程系助理教授,领导 Hao AI 实验室。
> 参考资料:https://hao-ai-lab.github.io/blogs/distserve/
@@ -0,0 +1,82 @@
# 📊 文章摘要:揭秘老黄演讲中关键技术:PD分离!UCSD华人团队力作,LLM吞吐量跃升4倍
> **原文**[2026-08-05_揭秘老黄演讲PD分离_UCSD华人团队DistServe_新智元.md](./2026-08-05_揭秘老黄演讲PD分离_UCSD华人团队DistServe_新智元.md)
> **原文链接**https://mp.weixin.qq.com/s/kdxJng0X3RT2UU8EnuxeSw
> **来源**:微信公众平台(新智元)
> **作者**:新智元(编辑:静音、定慧)
> **发布日期**:2026-08-05(原文未标注明确日期,文中提及黄仁勋 2025 GTC,按下载日占位)
> **摘要日期**2026-08-06
> **价值评级**:⭐⭐ 中
---
## 核心命题
> **有效吞吐量** — 提出以符合 SLO 的 goodput(有效吞吐量)取代裸吞吐量作为 LLM 服务系统的衡量标准,并给出 PD 分离将有效吞吐量提升 2-4.48 倍的量化论证。
---
## 文章概要
本文是 UCSD Hao AI Lab 的 DistServe 论文(PD 分离开山之作)的中文解读,论证"为什么现有系统无法实现高有效吞吐量":Prefill 计算密集与 Decode 内存带宽密集混批互扰,且资源分配与并行策略耦合难优化。分离后以 2P1D(2 个 Prefill + 1 个 Decode 节点)配置在 3 块 GPU 上实现有效吞吐量 2 倍提升;并量化证明合理放置下 KV Cache 传输开销(17.6ms)小于单个解码步骤(30-50ms),可被隐藏。其价值是本批 PD 分离文章的理论源头与中文数据出处;局限是数据全部来自 A100 时代论文原型,非生产系统实测,且对传输代价的乐观估计与丁师兄文章的落地视角存在张力。
---
## 关键要点
1. **goodput 概念** — 有效吞吐量衡量"每秒完成的符合 SLO 的请求数",须同时满足 TTFT 与 TPOT;高吞吐量系统可能有效吞吐量很低(10 rps 中仅 3 个符合 SLO)。这是衡量标准的转向,挑战了以 rps 为纲的业界惯例。 `[分类: 范式突破]`
2. **混批干扰机制** — 稳定请求流中每次 Decode 遇到 Prefill 请求就被"卡住",解码延迟意外增加;为满足严格 SLO 必须过度配置资源。 `[分类: 共识]`
3. **2P1D 量化实验** — 单 A100 上 13B 模型、512 输入/64 输出负载:共同处理有效吞吐量 min(3, 1.6)=1.6 rps/GPU,分离后 2P1D 达 3.3 rps/GPU,无并行化即 2 倍提升。 `[分类: 共识]`
4. **KV 传输开销可隐藏** — OPT-175B 的 2048 token 请求经 8 通道 PCIe 5.0 x16 传输 KV 仅 17.6ms,小于单解码步 30-50ms;网络越快、模型越大该结论越强。注意:此乐观结论基于"合理放置+高速网络"前提,与生产落地视角(丁师兄)形成对照。 `[分类: 争议]`
5. **定制并行策略** — 分离使两阶段并行策略解耦:TTFT 严格时 Prefill 用张量并行,Decode 用数据/流水线并行,这是分离的隐藏红利。 `[分类: 共识]`
6. **三负载评估数据** — 聊天 2.0-3.41 倍、代码补全 3.2 倍(SLO 严格 1.5 倍)、摘要 4.48 倍(SLO 严格 10.2 倍)有效吞吐量提升,为本批文章最常引用的核心数据出处。 `[分类: 共识]`
---
## 批判性分析
### 假设前提
论证建立在几个前提上:工作负载的延迟需求可精确量化为 SLO;节点间具备 NVLink/PCIe 5.0 级高速互联(传输可隐藏结论强依赖此点);分离后 P、D 集群的负载是可预测、可配比的——而真实业务流量动态变化,P:D 静态配比会失效(丁师兄文章指出此点)。
### 论据与逻辑
论据以单 GPU 对照实验、2P1D 扩展实验、三负载评估三层递进,数据详实且附完整计算过程(如 17.6ms 推导、min 运算),逻辑链条完整。但样本为论文原型与合成负载(泊松到达、固定输入输出长度),与生产流量分布有差距;"KV 传输可隐藏"在 PCIe 5.0 与 NVLink 假设下成立,作者未讨论网络成为瓶颈的现实场景。
### 边界与局限
结论基于 A100-80GB 与 OPT-175B 等 2023-2024 时代配置,未覆盖 MoE 模型与更高并发规模;对 KV Cache 传输的乐观评估仅适用于"合理放置"的节点内场景,跨数据中心场景不成立;文章本身是转述解读,未引入任何独立批判或后续系统(Mooncake、SGLang)的实践修正。适合理解 PD 分离的原理动因,不适合直接作为生产架构决策依据。
---
## 可引用金句
> "现在,PD 分离已经成为兵家必争之地。"
> "这个实验表明,简单的分离方法在没有任何并行化的情况下就能实现 **2 倍**的有效吞吐量(3.3 rps VS 1.6 rps)。"
> "通过合理的放置,KV 缓存传输的开销可以被有效地最小化,低至小于一个解码步骤的时间。"
---
## 总体评价
**亮点**
- 概念清晰:goodput、TTFT/TPOT、2P1D 配比实验均有严谨推导与量化
- 本批 PD 分离文章的理论源头,三负载评估数据(4.48 倍/10.2 倍)是高质量可引用出处
- "分离的两个动机"(去干扰+解耦并行策略)表述凝练,是解释 PD 分离动机的标准框架
**不足**
- 数据全部来自论文原型,无生产实测,被黄仁勋 GTC 背书但未呈现业界落地修正
- 对 KV 传输开销的乐观结论未给出边界条件(网络成为瓶颈时失效)
- 未涉及落地代价(调度复杂度、P:D 配比敏感性),需与代价派文章对照阅读
**适用场景**:需要快速建立 PD 分离理论框架的工程师与决策者;撰写 PD 分离科普/方案文档时的中文数据引用来源;面试中解释"为什么需要 PD 分离"的标准答案素材。
**关联建议**:与丁师兄《LLM 做 PD 分离后怎么更慢了》对照阅读,恰好构成"红利 vs 代价"的完整两面;与本批 marcus 的 vLLM 源码级文章(实现机制)和小哥的 AFD 文章(下一级演进)串读可覆盖"为什么分离—怎么分离—分离的代价—分离之后"全景。
---
## 配图
![-](../../金鹏/20260806/20260806-004.png)
@@ -0,0 +1,170 @@
# 刚刚!谷歌突发最炸离职!
> **来源**:微信公众平台
> **作者**:深科技首席
> **发布日期**2026-08-06
> **原文链接**https://mp.weixin.qq.com/s/5RcNh03rxFZMbJZKoKQvLw
---
👆点击 深科技 > 点击右上角"···" > 设为星标🌟
[图片]
[图片]
震惊啊!
硅谷突发炸裂消息!谷歌传奇首席科学家 Jeff Dean 官宣离职。
谷歌最核心技术家底全员出走!
刚刚,深科技(deeptek)消息:Jeff携手三位谷歌顶级技术元老组团创业,成立全新 AI 科研公司 Discovery Loop。
这支创始团队堪称谷歌技术天花板,包揽谷歌基建、Google Brain、Gemini 三代核心技术。
这大概率是近十年科技圈__创始人阵容天花板级别的创业公告__,没有之一。
如果盘点谷歌史上影响力TOP10的工程师,除去拉里·佩奇和谢尔盖·布林两位创始人,本次组团创业的四位大佬全部稳居榜单之内。
这四个人包揽谷歌三代核心技术:底层基建、初代AI、Gemini大模型。承载了巅峰技术积淀,如今集体出走联手创业,含金量堪称恐怖。含金量炸裂!
[图片]
一、重磅大瓜:谷歌27年技术教父裸辞创业
硅谷炸出超级大瓜!谷歌头号技术大佬Jeff Dean,正式从谷歌离职。
他在谷歌干了整整27年,是妥妥的第30号元老级员工。
毫不夸张地说,谷歌大半技术根基,都是他亲手打下来的。
从早期搜索基建、Google Brain,再到Gemini大模型,他全程主导谷歌三代核心技术迭代。
这次他没有单打独斗,直接拉上三位谷歌顶级技术大佬组团单飞。
四人联手成立全新科技公司Discovery Loop,由Jeff Dean亲自担任CEO。
[图片]
最离谱的是,这场重磅创业,从头到尾只酝酿了五周时间。
短短五周,他直接凑齐谷歌顶配技术天团,开辟全新AI赛道。
更有意思的是,谷歌并未封杀这支出走的核心团队。
母公司Alphabet直接战略入股,谷歌云专属提供算力与云服务支撑。
顶级风投联合领投种子轮,这家新公司开局就是行业顶配待遇。
[图片]
[图片]
二、全明星创始团队:集齐谷歌三代核心技术
Discovery Loop四大联合创始人堪称谷歌技术史"全明星阵容",四人分别执掌谷歌不同阶段的核心技术,集齐谷歌互联网基建、早期AI、大模型时代的全部技术积累,行业稀缺性无可替代。
资深大佬评:这种级别的阵容组队创业,十年难遇,根本找不到对手!
[图片]
Discovery Loop四大核心(从左到右):Oriol Vinyals · Sanjay Ghemawat · Jeff Dean · Quoc Le
1. Jeff Dean(CEO):谷歌技术体系核心奠基人,早期主导谷歌搜索、分布式计算基础设施搭建,后续联合创立Google Brain,长期担任谷歌首席科学家,是谷歌AI技术迭代的核心掌舵人。
[图片]
2. Sanjay Ghemawat:谷歌分布式系统奠基人,与Jeff Dean联手研发Google File System、MapReduce、Bigtable、Spanner等核心基础设施,当下全球云计算、大数据系统的底层技术大多溯源其研发成果,是互联网底层架构的顶尖专家。
[图片]
3. Oriol VinyalsGemini大模型核心负责人,深耕生成式AI基础技术,是Seq2Seq、知识蒸馏、AlphaStar等重磅项目的核心研究者。其中Seq2Seq技术成为现代机器翻译、生成式AI的核心底层支撑,奠定了大模型交互能力的技术基础。
4. Quoc LeGoogle Brain创始核心成员,参与提出Seq2Seq技术,主导大规模无监督学习、AutoML技术迭代,也是谷歌AI自主学习识别YouTube视频内容核心项目的负责人,推动了AI自动化学习的早期落地。
三、新公司野心曝光:不做聊天机器人,要让AI自己搞科研
当下市面上绝大多数AI公司,都在内卷聊天功能、对话体验和大模型参数。
但Discovery Loop完全另辟蹊径,不走传统AI的内卷老路。
这家新公司的野心极大,目标是让AI全程自主完成科学研究,彻底解放人力。
[图片]
简单来说,他们要打造一套完整的AI全自动科研闭环体系。
AI可以自主提出科研猜想,独立设计对应的实验方案。
AI能够全自动运行实验、采集并整理全部实验数据。
AI自主分析实验结果,并根据结论自动迭代新一轮实验方向。
整套科研流程全程无人干预,真正实现科研全流程自动化运转。
Discovery Loop的发展布局清晰稳健,采用循序渐进的落地节奏。
公司前期聚焦AI领域,核心目标是让AI自主研发AI技术。
这或许将彻底解决人工科研效率低、迭代速度慢的行业痛点。
未来公司会全面跨界扩张,布局多个硬核科技赛道。
业务将覆盖芯片设计、新材料研发、新药研发、清洁能源等核心领域。
每一个布局方向,都是全球科研领域最难突破、最具价值的赛道。
Discovery Loop的企业架构十分特殊,采用少见的公共利益公司模式。
它不单纯追求商业盈利,更注重技术落地带来的公共社会价值。
大佬们出走创业的原因,现实且直白。
谷歌现有架构和系统,只适配搜索、广告、民用消费级产品。
这套体系完全无法满足前沿硬核科学研究的专属需求。
因此团队选择离职创业,从零搭建适配自动化科研的全新基建。
四、行业炸锅:AI内卷彻底变天,下一轮大赛道来了
本次四大核心元老集体出走,堪称谷歌史上损伤最大的人才流失事件。
这批技术元老深耕谷歌数十年,技术底蕴和行业地位无可替代。
近两年谷歌顶尖AI人才流失潮愈发明显,行业人才流动剧烈。
不少核心技术人才相继跳槽OpenAI、加盟Anthropic等新锐AI巨头。
顶级技术大佬纷纷放弃谷歌顶级资源,选择自主创业突破技术瓶颈。
这也直接印证了AI行业风向的彻底转变。
[图片]
顶尖技术人才不再迷恋大厂光环,更追求自由的硬核技术突破。
谷歌虽然痛失核心技术团队,但也做出了最明智的止损操作。
Alphabet直接战略投资Discovery Loop,锁住深度合作关系。
相当于核心人才虽然出走,但技术、资源纽带并未断裂。
谷歌CEO官宣DeepMind人员调整。
[图片]
这是谷歌当下最优的止损方案,避免彻底撕破脸、错失前沿技术红利。
过去行业内卷的是模型参数、对话体验、算力规模等基础能力。
未来AI的核心赛场,是规模化、工程化的自动科学发现能力。
AI从此不再只是被动回答人类问题的工具。
新一代AI将实现自主思考、自主实验、自主突破前沿技术。
谁率先掌握AI自动化科研能力,谁就能拿下下一轮AI时代的行业话语权。
[图片]
@@ -0,0 +1,78 @@
# 📊 文章摘要:刚刚!谷歌突发最炸离职!
> **原文**[2026-08-06_刚刚_谷歌突发最炸离职.md](./2026-08-06_刚刚_谷歌突发最炸离职.md)
> **原文链接**https://mp.weixin.qq.com/s/5RcNh03rxFZMbJZKoKQvLw
> **来源**:微信公众平台
> **作者**:深科技首席
> **发布日期**2026-08-06
> **摘要日期**2026-08-06
> **价值评级**:⭐ 低
---
## 核心命题
> **谷歌元老出走** — 事件性快讯:Jeff Dean 等四位谷歌技术元老离职创办 AI 科研公司 Discovery LoopAlphabet 战略入股、谷歌云提供算力
---
## 文章概要
本文是一则标题党风格的新闻快讯,报道谷歌首席科学家 Jeff Dean 在任职 27 年后离职,与 Sanjay Ghemawat、Oriol Vinyals、Quoc Le 三位技术元老共同创办 AI 科研公司 Discovery Loop,目标是从零搭建"AI 全自动科研闭环"(自主提出猜想、设计实验、运行与分析、迭代),前期聚焦让 AI 研发 AI,未来拓展芯片、新材料、新药、清洁能源等领域,并采用公共利益公司模式。事件本身具有行业信号意义(谷歌技术天花板集体出走、母公司投资入股而非封杀),但文章无任何一手来源、无数据支撑、无边界讨论,全部信息为渲染性转述,信息增量有限,事件细节需以官方公告核实。
---
## 关键要点
1. **Jeff Dean 离职创业** — 谷歌第 30 号元老员工、27 年技术教父,出任 Discovery Loop CEO `[分类: 共识]`(事件事实,来自行业报道)
2. **全明星创始团队** — GhemawatMapReduce/GFS/Bigtable/Spanner 分布式系统奠基)、VinyalsGemini/Seq2Seq/AlphaStar)、LeGoogle Brain/AutoML)四人包揽谷歌基建、初代 AI、Gemini 三代核心技术 `[分类: 共识]`
3. **方向:AI 全自动科研** — 不做聊天机器人,让 AI 自主完成科研全流程,先让 AI 研发 AI,再跨界芯片、新材料、新药、清洁能源 `[分类: 未探索]`(公司愿景,作者转述)
4. **"友好分手"的止损模式** — Alphabet 战略入股、谷歌云提供算力与云服务,顶级风投领投种子轮;作者解读为谷歌"锁住深度合作关系"的最优止损方案 `[分类: 争议]`(作者的解读,非官方确认)
5. **行业风向判断** — 顶尖人才不再迷恋大厂光环,AI 核心赛场将从模型参数/对话体验转向"规模化、工程化的自动科学发现能力" `[分类: 争议]`(作者观点)
---
## 批判性分析
### 假设前提
作者假设读者需要的是情绪化渲染而非核实后的信息,并假设"创始人阵容天花板"的判断标准成立(影响力排行榜无从考证);同时假设 Discovery Loop 的科研愿景(AI 自主科研闭环)在可预见时间内技术上可行。
### 论据与逻辑
全文无任何一手证据:没有官方公告原文、无公司注册信息、无当事人声明引用,"五周酝酿""种子轮顶配"等关键细节均无出处;逻辑上以"阵容强→必然颠覆行业"的简单推断替代论证,从事件直接跳到"下一轮 AI 大赛道来了"的结论,跳跃明显。
### 边界与局限
结论("AI 内卷彻底变天""谁掌握 AI 自动化科研谁拿下话语权")是无边界的绝对化断言,未讨论 AI 科研自动化的技术难度、失败可能、以及大厂 AI 实验室(如 DeepMind)同样在做 AI for Science 的竞争背景;事件真伪与细节需以公司官方披露为准。
---
## 可引用金句
> "谷歌现有架构和系统,只适配搜索、广告、民用消费级产品。"
> "谁率先掌握AI自动化科研能力,谁就能拿下下一轮AI时代的行业话语权。"
---
## 总体评价
**亮点**
- 事件本身有信息价值:Jeff Dean 等四人出走并获 Alphabet 入股,是值得记录的行业动态
- 快速传达了"AI 竞争主战场可能转向自动化科学发现"的方向性信号
**不足**
- 标题党式写法("最炸""含金量恐怖")稀释信息密度,无任何一手来源与数据支撑
- 关键细节(融资额、公司成立时间、商业模式)全部缺失,无法独立核实
- 对 AI 科研自动化这一主题只有口号式描述,无技术可行性的任何讨论
**适用场景**:快速浏览行业动态的读者(当作线索而非结论);如需引用事件本身,应回到谷歌官方公告或可靠信源核实。
**关联建议**:跟踪 DeepMind 的 AI for Science 进展与 OpenAI 的科学研究智能体方向对比阅读;事件细节可查询 Google 官方博客或 Bloomberg/Reuters 报道核实;若对"AI 自动化科研"感兴趣,可阅读 AlphaFold 类项目的技术论文了解当前边界。
---
## 配图
本篇文章为低价值,未生成配图。