文档(金鹏): 2026-08-20 章节 26 篇文章摘要归档
- 26 篇微信公众号文章原文+摘要归档至 知识/微信公众平台/{公众号}/
- 9 个主题分组:Skill工程/Agent运行时/数据基础设施/交互工具/产品服务/大模型前沿/产业开源/制造业AI/军事社会
- 生成 9 组配图(2560x1440 大图 + 160x90 thumb)至 知识/金鹏/20260820/
- 知识/金鹏.md 2026-08-20 章节改写为结构化索引(主题标签+配图+金句+分层子条目)
- 1 个小红书视频链接以视频笔记条目保留(内容无法文本化)
Co-Authored-By: Claude <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,210 @@
|
||||
# Storage Agent Family: Agent 时代,重构云存储的"人机交互"
|
||||
|
||||
> **来源**:微信公众平台(火山引擎存储)
|
||||
> **作者**:火山引擎存储
|
||||
> **发布日期**:2026-08-20(原文未标注明确日期,按下载日占位)
|
||||
> **原文链接**:https://mp.weixin.qq.com/s/tEDiv1KjsQvKO4Ffm41aOg
|
||||
|
||||
---
|
||||
|
||||
**系列定位:**本文是**《从 Data Lake 到 State Lake:面向 Agent 时代的存储基础设施重构》**的续篇。上一篇讲了 Agent 时代重新组织的三条存储主线:Sandbox Store、Artifact Store、Agent 观测 & 评测。这一篇聚焦最"面向用户"的一条支线——存储产品自身的 Agent 化,我们称之为 **Storage Agent Family**。
|
||||
|
||||
**从一个真实场景开始**
|
||||
|
||||
一位做 AI 数据运维的同学,一天要打开火山引擎控制台好几次。
|
||||
|
||||
建个训练数据桶要跳几个页面:建桶、配 KMS 加密、开版本控制、改 ACL、配访问日志,一步漏了,审计就找上门。
|
||||
|
||||
下午图片打不开,他打开对象存储控制台,权限、限流、CORS 配置挨个查,页面来回切。晚上老板追问上月账单涨 30% 的原因,他又得跑费用中心拉数据、自己算,再琢磨要不要把冷数据转归档。
|
||||
|
||||
功能都有,每一项能力在控制台里也都找得到,但"明明会用,就是费劲"的感觉始终挥之不去。
|
||||
|
||||
往大了说,今天用 TOS,明天查 TLS 的日志,后天团队上 vePFS 或 EFS。**每款存储都得重新学一遍怎么用:**菜单不同、概念不同,连"哪个操作要二次确认"的规则都不一样。
|
||||
|
||||
存储能力从来不是问题,真正的痛点是:用好存储,始终缺一个统一、懂人话的入口。
|
||||
|
||||
**Storage Agent Family 是什么**
|
||||
|
||||
Storage Agent Family 不是一个新产品,也不是一个"统一大 Agent ",而是**火山引擎存储线上 N 款存储产品各自的 Agent,共同遵守的一份约定**——TOS 有 TOS Agent,TLS 有 TLS Agent,后面还会有 vePFS、EFS、EBS、MQ 的 Agent。每款 Agent 都由对应的产品团队独立打造,但它们对外呈现的样子是"一家人"。
|
||||
|
||||
它想给客户解决的问题很简单:
|
||||
|
||||
**引入一个存储管理的专家伙伴,协助客户更高效地管理和使用存储产品。**建生产桶、批量改配置、排查访问异常、算账单、找素材、做创作、查日志、追延迟,过去要跨十几个页面,甚至写脚本才能完成的活儿,现在一句话说清楚意图,Agent 自主规划,逐步执行,每一步都可看、可停、可纠偏。
|
||||
|
||||
接下来,先看家族里已经上线的两位成员——TOS Agent 和 TLS Agent,分别代表家族里最典型的两种形态:一个偏运维向,一个偏分析向。
|
||||
|
||||
**TOS Agent:让日常运维"说人话"**
|
||||
|
||||
TOS Agent 是家族的第一个成员,不是控制台边上的一个问答框,而是客户在 TOS 上的**主工作入口**,把日常存储工作中的高频、繁琐、吃专业经验的活儿,交给一个能听懂意图、自主规划、随时可纠偏的工作台来做。
|
||||
|
||||
**四类场景:工作台在真实业务里做什么**
|
||||
|
||||
**日常运维:一句话,编排一整套操作**
|
||||
|
||||
过去建一个生产级桶要在多个 Tab 之间反复跳,批量改一批桶的配置只能逐个点或自己写脚本,现在把意图说清楚就行:
|
||||
|
||||
"帮我建一个用于 AI 训练数据的桶,开 KMS 加密、开版本控制、关闭 ACL 公共访问、接入访问日志。"
|
||||
|
||||
"给我账号下所有华东 1 区域、对象数大于 1000 的桶,统一开启访问日志。"
|
||||
|
||||
TOS Agent 把这类指令拆成一条有序执行链,逐步落地,过程透明。遇到批量变更或不可逆动作,它会先做一次影响预演(Dry-Run),清晰呈现波及范围,再等你确认——把"多步操作编排"从体力活变成一句话。
|
||||
|
||||

|
||||
|
||||
**异常排查:从一条报错,追到根因和修复**
|
||||
|
||||
线上访问出问题,问题根因,可能是权限、签名、CORS、限流、慢请求等,排查过程需要很多专业经验。TOS Agent 会把这些细活接过来,如把一个打不开的图片链接甩给它,它自己解析 URL 和报错、拉访问日志和监控指标做聚合分析、对照错误码释义找根因,最后给一份"现象 → 根因 → 修复建议"的结论——从"告诉你为什么不行",到"帮你把问题解决"。
|
||||
|
||||

|
||||
|
||||
**数据洞察:把账单、热点、冷热分层,一次问清**
|
||||
|
||||
TOS 计费项多,每个桶的费用和访问结构都不一样,"上个月账单为什么突然涨了 30%?" "哪些对象近 90 天没被访问,转归档能省多少?"这类问题以前要跨几个系统才能算清。
|
||||
|
||||
现在,TOS Agent 会自动拉账单和计量数据、识别异常波动并归因、分析访问热点和冷热分布,最后给你一份结构化的洞察报告和能落地的优化建议。生命周期策略、归档、加速器、QoS 都在里面—— "数据"从一个单纯被查询的对象,变成了一个能解释与建议的洞察对象。
|
||||
|
||||

|
||||
|
||||
**多媒体创作:找素材、做创作、回存,一气呵成**
|
||||
|
||||
这是 TOS Agent 最具想象力的场景,它联动内容感知和处理能力,让你在一个对话里跑完"找素材 → 做创作 → 存产物"的完整闭环。基于多模态语义,从海量素材中直接召回符合描述的图片或视频片段;调用生成能力,完成改图、加水印;产物再自动回存到指定桶,天然沿用你的权限和治理策略,后续业务流转也直接用——对媒资、电商、营销团队来说,素材生产链路从"多个工具来回倒腾文件",简化成"在一个对话中说清楚需求"。
|
||||
|
||||

|
||||
|
||||
**四项关键机制:让"对话式工作台"真正可用**
|
||||
|
||||
能编排的 Agent 有很多,但让客户敢把线上生产活儿交出去,靠的不是"模型有多聪明",而是长时协作、记忆连续、权限边界、动作安全这四项能力全部可靠。TOS Agent 在这四项能力上均做了针对性设计,这也是 Storage Agent Family 中所有成员必须恪守的底线。
|
||||
|
||||
**活跃会话数量无上限**
|
||||
|
||||
传统智能助手常受限于固定的会话资源,开多了就排队,被回收。TOS Agent 依托 TOS 原生分布式架构承载会话,不对活跃会话数量设上限,你可以为"排查异常""月度成本盘点""整理素材"分别开一条独立会话,并行跑互不干扰,跑到一半关掉,下次打开还能继续。
|
||||
|
||||
这一点对大规模创作团队尤其关键,成百上千名创作者同一时刻打开工作台,每个人都有一条独立、不掉线的会话,不会因为"别人在用"而被降级或被踢下线。
|
||||
|
||||

|
||||
|
||||
**User 级长期记忆**
|
||||
|
||||
工作台会为每一个 User 维护独立的长期记忆空间,把跨会话的偏好和上下文沉淀下来:常用地域、命名规范、加密和权限基线、关注的成本口径……这些都会被记住,并在后续任务里自动复用。记忆的写入、召回、归档由服务端统一治理,用自然语言就能管理,你不用关心底层实现。
|
||||
|
||||
你不用每次从头交代背景,它越用越懂你。
|
||||
|
||||

|
||||
|
||||
**User 凭证贯穿全部动作执行**
|
||||
|
||||
这是工作台安全模型的核心,**发起任务的 User 凭证,会贯穿此次任务里 Agent 触发的每一个动作。**不管是查询、配置变更,还是数据读写,Agent 调用的每一个工具都携带你的凭证,在你的权限边界内执行。它能做的,永远是"你本来就能做的事"的子集,不会因为"交给了 Agent "就越权碰到你无权访问的资源。
|
||||
|
||||
能力被放大,权限边界却分毫不变。
|
||||
|
||||

|
||||
|
||||
**动作安全护栏:Commit + Dry-Run + 分级管控**
|
||||
|
||||
**写操作,先 Commit,再执行。**当模型识别到此次发起的是一个写请求(创建、变更、删除、覆盖、批量),它不会"想到就做",而是主动把动作弹到前台,清楚地告诉你"我准备做什么、影响哪些资源、可能产生什么后果",等你确认之后才真正落地。
|
||||
|
||||
Commit 之上,工作台还叠加几层护栏:删除这类不可逆动作触发前,主动提示影响范围并进行二次确认;写入优先用"不存在才写"语义避免误覆盖;配置变更、存储类型转换等动作先做预演(Dry-Run);不同 API 动作按读、写、删除分级管控,高危动作要更强的确认。
|
||||
|
||||
工作台拥有自动执行的能力,但把"按下确认键"的权力始终交还给你。
|
||||
|
||||

|
||||
|
||||
再往上一层,当你要把这套工作台**打包转售给自己的众多终端客户**时,TOS Agent 借助 TOS 原生的让多租户隔离开箱即用,每个客户一个专属空间,工作空间、会话、记忆、配额彼此隔离,一套工作台就能服务成百上千家客户。
|
||||
|
||||
**TLS Agent:可观测分析专家**
|
||||
|
||||
TLS Agent 是家族的第二个成员,由日志服务团队独立研发,与 TOS Agent 为两条平行的研发线,但体验一致,是出自同一家族的产品。
|
||||
|
||||
日志服务是云上承接日志、Trace、指标和各类机器数据的接入入口和存储分析底座,能力完整。但业务问题的观测诊断分析,也还需专家经验的积累。新用户要先弄明白每类功能解决什么问题,从哪儿开始;老用户在复杂场景下,需编写好检索分析语句,查询经验文档,拆解问题分析的步骤。
|
||||
|
||||
TLS Agent 旨在降低使用门槛,并进一步把可观测信息转成可行动的洞察,让用户从"找到一条日志",走向"理解一个系统现象"。
|
||||
|
||||
当然仅靠 Text2SQL 是无法实现的,日志服务团队做的是让 Agent**进入日志服务的工作流。**
|
||||
|
||||
整体拆为三层能力:一个可探索的知识底座、一个可执行的工作环境、一套能把注意力拉回来的分析引导机制。
|
||||
|
||||

|
||||
|
||||
**可探索的知识底座:LLMWiki**
|
||||
|
||||
日志分析既要懂产品知识,也要懂用户业务知识:服务拓扑、接口含义、错误码、告警规则、历史故障、团队 SOP,这些往往只存在于用户自有文档和经验中。
|
||||
|
||||
如果只是把所有文档切片做向量检索,召回容易变得不稳定:多了变噪声,少了漏关键。TLS Agent 用 **LLMWiki** 把知识库做成一个可探索的空间,不是一次性把片段塞进上下文,而是按任务阶段逐步探索,先限定知识空间和目录,再看文件名、标题和片段命中,最后只在确认有价值时才扩读原文。
|
||||
|
||||
图谱结构补充"相似搜索不一定命中"的部分,它告诉模型"这篇文档为什么可能相关,什么时候值得继续读"。RAG 从"搜到一段相似文本",升级为"找到一组更小、更准、可解释的分析上下文"。
|
||||
|
||||
长期记忆是闭环的一部分,单次分析完成后,经确认的业务背景、常见问题、资源偏好和排障路径会自动沉淀,下次遇到同类问题,Agent 可准确分析,无需从零理解。
|
||||
|
||||

|
||||
|
||||
**可执行的工作环境:Sandbox**
|
||||
|
||||
可观测分析中,很多任务无法仅在模型上下文内完成,Agent 需要真实、稳定、可控的执行环境,支撑 Agent 运行查询、执行验证脚本、对结果程序化处理。
|
||||
|
||||
TLS Agent 以 **TLS CLI** 作为统一的能力入口:TLS API 覆盖的资源和动作多,若每个 API 都包装为模型可见的工具,会导致工具列表迅速膨胀;CLI 让 Agent 可像工程师一样,通过命令分组、子命令和 help 渐进式了解产品能力。
|
||||
|
||||
选了 CLI,就要有终端。**Sandbox**为 Agent 提供稳定的工作台:
|
||||
|
||||
沙箱支持运行命令、保存中间文件、读取输出,失败继续调整重试;每个 Skill 除提示词和工具调用外,自带验证脚本,可检查返回字段是否完整、时间范围是否正确、统计口径是否符合预期、查询结果是否足以支撑当前结论。Agent 不会生成"看似合理的答案",而是能在沙箱里做检查、发现问题、重试。
|
||||
|
||||
海量日志检索的过滤、聚合、TopN、趋势等重计算,**优先下推至 TLS 检索分析引擎**,Agent 不用拿模型去替代检索系统做大规模计算。若结果体量依然过大塞不进上下文,Agent 会在 Sandbox 内通过 rg、Python 完成筛选、统计、抽样、校验,再把更小、更关键的事实交给模型组织表达,**不把"样例观察"当成"总体结论"。**
|
||||
|
||||
**上下文引导:让注意力回到关键约束**
|
||||
|
||||
完整的日志分析需经历多轮交互:确认问题、理解资源、读取知识、生成查询、执行工具、修正路径。上下文越长,模型越容易被中间信息带偏,忘掉最初的分析目标、时间范围、过滤条件。
|
||||
|
||||
TLS Agent 设计了注意力引导模块,可以根据规则注入重要提示信息,不替代 Agent 做决策,只在关键节点把容易丢失的约束重新放回模型视野:
|
||||
|
||||
- 从"收集信息"进入"生成查询"时,把原始用户需求带回来,提醒 Agent 核对目标、时间范围和过滤条件;
|
||||
- 执行较重的查询前,引导 Agent 先收敛范围,关注时间窗口、索引命中、返回行数和查询效率;
|
||||
- 涉及趋势、聚合、异常判断时,提醒 Agent 把结论建立在检索分析能力之上,而不是几条样本上。
|
||||
|
||||
这类引导看起来很轻,但对长任务的稳定性很重要。
|
||||
|
||||
**内部实践:真实排障案例**
|
||||
|
||||
说了这么多机制,不如看两个例子。
|
||||
|
||||
"这个采集规则凌晨被改过,日志消失了,帮我确认是不是人为操作,具体原因是什么?"
|
||||
|
||||
"近 12 小时数据加工任务有入库延迟,帮我分析下延迟发生在哪个阶段。"
|
||||
|
||||
**案例一 | 操作溯源:**用户反馈某个采集规则在凌晨被改后日志消失,想确认是否人为操作及具体原因。
|
||||
|
||||
TLS Agent 结合用户提供的项目、Topic 和采集配置上下文,定位到对应的操作记录,输出修改时间、接口、操作者、来源和命中资源,排障过程从"猜是谁改了配置",转为"基于操作证据分析影响和解决方案"。
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
**案例二 | 延迟归因:**用户反馈近 12 小时有入库延迟。
|
||||
|
||||
Agent 结合任务 ID、源 Topic 和时间范围检索内部日志,定位到延迟集中发生在源端消费恢复阶段:消费者心跳过期后触发 worker 批量重建,任务恢复后继续处理,未发现持续写入阻塞或执行错误。分析把"入库慢"拆解为可验证的阶段和证据,便于判断是短时抖动,还是要继续追链路瓶颈。
|
||||
|
||||

|
||||
|
||||

|
||||
|
||||
每一次这样的分析,经确认的业务背景、常见问题、资源偏好和排障路径都会沉淀进长期记忆,下次遇到相似问题不必从零讲起,Agent 对同一团队、同一系统的理解会越来越稳定。
|
||||
|
||||
**Storage Agent Family 一致性**
|
||||
|
||||
看完两个成员,我们把 Storage Agent Family 对客户的价值收拢成三条,每一个加入家族的存储 Agent 都会遵守。
|
||||
|
||||
**一致的操作节奏,不用重新学。**不论是 TOS Agent 还是 TLS Agent,对话入口、数据范围选择、结果呈现、"先选范围、再对话、危险动作先确认"的节奏都完全一样。不用换一款产品重学一遍,这是"学会一个,用好每一款"最直接的兑现。
|
||||
|
||||
**一致的安全底线,可放心交付任务。**三级风险分级(只读直接执行 / 写入二次确认 / 破坏性拒绝自动执行)、User 凭证贯穿全部动作、写操作先 Commit 再执行、数据范围围栏、执行前权限校验——这些不是可选项,而是家族的常开底线。TOS Agent 有,TLS Agent 有,后面每一个成员也必须有。
|
||||
|
||||
**越用越懂你的系统。**每次任务中经用户确认的业务背景、排障路径、资源偏好,都会沉淀到该 User 的长期记忆中,下次任务自动召回。这对每款存储 Agent 都成立——用得越久,Agent 对你团队和系统的理解越准。
|
||||
|
||||
另外,家族对外统一接口,支持像装插件一样接入更多的存储 Agent;你在一个产品里问到另一个产品的问题,会主动引导你跳转,不断档。
|
||||
|
||||
**写在最后**
|
||||
|
||||
"用好存储"这件事,过去需要摸透控制台、用溜 SDK、背全最佳实践。
|
||||
|
||||
现在有一个听懂话的伙伴,能把多步操作自动编排、异常根因定位、成本与洞察一次问清、长任务与长记忆稳定运行,而且这套体验在每一款存储产品中都一致。
|
||||
|
||||
Storage Agent Family 已经上线 TOS Agent 和 TLS Agent,vePFS、EFS、EBS、MQ 的 Agent 已经在路上。它们从第一天就遵循同一份家族约定,未来会沿着两个方向走下去:一是让家族成员更多,覆盖场景更广;二是把 Agent 和工作区更深地打通,让人和 Agent 在同一个工作区里并肩工作,不必再在文档、控制台和聊天窗口之间来回切换。
|
||||
|
||||
**火山引擎 Storage Agent Family: 让每一款存储产品,都长出一个懂它、也懂你的专家。学会一个,用好每一款。**
|
||||
@@ -0,0 +1,80 @@
|
||||
# 📊 文章摘要:Storage Agent Family: Agent 时代,重构云存储的"人机交互"
|
||||
|
||||
> **原文**:[2026-08-20_Storage_Agent_Family_Agent_时代_重构云存储的_人机交互](./2026-08-20_Storage_Agent_Family_Agent_时代_重构云存储的_人机交互.md)
|
||||
> **原文链接**:https://mp.weixin.qq.com/s/tEDiv1KjsQvKO4Ffm41aOg
|
||||
> **来源**:微信公众平台
|
||||
> **作者**:火山引擎存储
|
||||
> **发布日期**:2026-08-20
|
||||
> **摘要日期**:2026-08-20
|
||||
> **价值评级**:⭐⭐⭐ 高
|
||||
|
||||
---
|
||||
|
||||
## 核心命题
|
||||
|
||||
> **存储Agent化** — 云存储的竞争焦点从"控制台功能完备"转向"给每款存储产品配一个懂产品、也懂用户的专家 Agent",并以家族约定(统一节奏、统一安全底线、统一记忆)保证"学会一个,用好每一款"。
|
||||
|
||||
---
|
||||
|
||||
## 文章概要
|
||||
|
||||
本文是火山引擎存储团队的系列文章续篇,宣布其"Storage Agent Family"落地:不为全部存储产品建一个统一大 Agent,而是每款产品(TOS、TLS,后续 vePFS/EFS/EBS/MQ)由各自团队独立研发 Agent,共同遵守一份体验与安全约定。文章详述 TOS Agent(运维向:一句话编排建桶/批量配置、报错根因排查、账单与冷热分层洞察、多模态素材创作闭环)与 TLS Agent(分析向:LLMWiki 可探索知识底座、CLI+Sandbox 执行环境、注意力引导机制),并给出两项对 Agent 工程普遍适用资产:User 凭证贯穿全部动作的权限模型,以及 Commit + Dry-Run + 读写删除三级管控的动作安全护栏。局限在于这是厂商产品发布文,全部能力描述为自述,无第三方评测与量化效果数据。
|
||||
|
||||
---
|
||||
|
||||
## 关键要点
|
||||
|
||||
1. **去中心化的产品 Agent 联邦** — 不做"统一大 Agent",而是 N 款产品各自的 Agent 共同遵守家族约定(统一接口、插件式接入、跨产品引导跳转),用组织约定而非单一大模型解决"每款存储重学一遍"问题。 `[分类: 争议]`(与行业"统一入口助手"主流路线相反的设计选择)
|
||||
2. **四项可用性底线** — 长时协作(会话无上限)、记忆连续(User 级长期记忆)、权限边界(凭证贯穿)、动作安全(Commit+Dry-Run+分级管控),被定义为家族所有成员"必须恪守的底线"。 `[分类: 共识]`
|
||||
3. **User 凭证贯穿全部动作** — Agent 触发的每个动作都携带发起任务的 User 凭证,在其权限边界内执行,"它能做的,永远是'你本来就能做的事'的子集"。这是 Agent 权限设计的高可迁移模式。 `[分类: 共识]`
|
||||
4. **动作安全护栏三层结构** — 写操作先 Commit(弹前台确认影响面)再执行;不可逆动作二次确认+影响预演(Dry-Run);读写删除三级风险分级(只读直接执行/写入二次确认/破坏性拒绝自动执行)。 `[分类: 共识]`
|
||||
5. **LLMWiki:从向量检索到可探索知识空间** — 拒绝"一次性把片段塞进上下文",按任务阶段逐步探索(限定知识空间→文件名/标题命中→确认有价值才扩读原文),图谱结构解释"为什么相关、何时值得读",将 RAG 升级为"更小、更准、可解释的分析上下文"。 `[分类: 范式突破]`
|
||||
6. **CLI 优先于 API 工具化** — 不把每个 API 包装成模型可见工具(工具列表膨胀),而以 CLI 作为统一入口,让 Agent 像工程师一样通过命令分组、子命令和 help 渐进式了解产品能力。 `[分类: 范式突破]`
|
||||
7. **计算下推 + Sandbox 校验** — 过滤/聚合/TopN 等重计算优先下推至检索分析引擎;结果过大时在 Sandbox 内用 rg、Python 筛选统计抽样,"不把'样例观察'当成'总体结论'";每个 Skill 自带验证脚本检查字段完整性、时间范围、统计口径。 `[分类: 共识]`
|
||||
8. **注意力引导模块** — 长任务中在关键节点(收集信息→生成查询时带回原始需求、重查询前收敛范围、趋势判断时锚定检索引擎而非样本)把易丢约束重新放回模型视野,不替代 Agent 决策。 `[分类: 未探索]`(文中称"看起来很轻,但对长任务的稳定性很重要",未给出量化验证)
|
||||
|
||||
---
|
||||
|
||||
## 批判性分析
|
||||
|
||||
### 假设前提
|
||||
- 预设"对话式工作台"优于控制台 GUI:对高频运维、跨页面编排场景成立,但对精细配置对比、审计留痕、大规模重复性自动化(IaC/Terraform 体系)未必更优,文章未讨论与既有基础设施即代码体系的关系。
|
||||
- 预设用户敢于把生产环境操作交给 Agent——这正是文章用大量篇幅解释安全机制的原因,但信任建立过程本身未被论证。
|
||||
- 预设大模型能稳定理解云存储领域的专业意图(计费口径、权限模型、错误码体系)。
|
||||
|
||||
### 论据与逻辑
|
||||
- 全文为厂商自述的产品发布文,无任何量化效果数据(任务完成率、编排准确率、误操作率、根因定位准确率),无第三方评测。
|
||||
- 两个 TLS 排障案例(采集规则操作溯源、入库延迟归因)是能力演示,非可复现的评测。
|
||||
- 逻辑主线(痛点场景→产品定义→机制设计→案例)清晰自洽,但"痛点已解决"只有断言,无前后对比度量。
|
||||
|
||||
### 边界与局限
|
||||
- 未讨论幻觉导致的错误配置如何兜底(Dry-Run 预演本身由模型生成,预演错了怎么办)。
|
||||
- 未提 Agent 使用的成本、延迟与配额,"会话数量无上限"的资源代价不明。
|
||||
- 家族一致性在成员增多(6+ 款产品)后的治理成本与体验漂移风险未展开。
|
||||
- 多租户转售、多模态创作等场景仅一段带过,成熟度未知。
|
||||
|
||||
---
|
||||
|
||||
## 可引用金句
|
||||
|
||||
> "发起任务的 User 凭证,会贯穿此次任务里 Agent 触发的每一个动作。"
|
||||
|
||||
> "工作台拥有自动执行的能力,但把'按下确认键'的权力始终交还给你。"
|
||||
|
||||
> "RAG 从'搜到一段相似文本',升级为'找到一组更小、更准、可解释的分析上下文'。"
|
||||
|
||||
> "Agent 不会生成'看似合理的答案',而是能在沙箱里做检查、发现问题、重试。"
|
||||
|
||||
> "让每一款存储产品,都长出一个懂它、也懂你的专家。学会一个,用好每一款。"
|
||||
|
||||
---
|
||||
|
||||
## 总体评价
|
||||
|
||||
**亮点**:把"Agent 时代云存储交互重构"讲成了可执行的产品工程而非概念——四项可用性底线、权限与动作安全模型、LLMWiki/CLI/Sandbox/注意力引导这组 Agent 工程组件,均可直接迁移到任意企业级 Agent 产品设计;"去中心化产品 Agent + 家族约定"的组织策略本身即是重要参考。
|
||||
|
||||
**不足**:零量化数据、零第三方验证,全部结论为厂商自述;对失败模式(预演错误、误确认、记忆污染)完全没有讨论。
|
||||
|
||||
**适用场景**:企业级 Agent 产品的安全与权限架构设计参考;RAG/工具调用/长任务稳定性的工程模式选型;云厂商产品 Agent 化竞品分析。
|
||||
|
||||
**关联建议**:与 Agent 工程类归档(工具调用、权限模型、长任务记忆)互链;后续可关注其宣称的 Dry-Run 影响预演与三级风险分级是否有公开 API/文档落地,以验证可迁移性。
|
||||
@@ -0,0 +1,209 @@
|
||||
# 从 Data Lake 到 State Lake:面向 Agent 时代的存储基础设施重构
|
||||
|
||||
> **来源**:微信公众平台(火山引擎存储)
|
||||
> **作者**:火山引擎存储
|
||||
> **发布日期**:2026-08-20(原文未标注明确日期,按下载日占位)
|
||||
> **原文链接**:https://mp.weixin.qq.com/s/qakhw_mXrCO7Fcb3tikv4A
|
||||
|
||||
---
|
||||
|
||||
**核心观点:**Agent 正在把 AI 从"回答问题"推向"完成任务",存储也随之从"提供容量、承载文件"的资源层,升级为贯穿 Agent 运行、协作与持续优化的关键底座。火山引擎存储团队以 **Storage Agent Infra** 为载体,围绕 Sandbox Store、Artifact Store、Agent 观测 & 评测三大能力方向,重新组织存储能力,支撑 Agent 时代的真实业务。
|
||||
|
||||
过去几年,AI 应用的形态正在快速变化。从早期的模型调用,到对话式助手,再到具备工具调用、任务执行、环境交互和长期记忆能力的 Agent,AI 系统正在从"回答问题"走向"完成任务"。这种变化不仅改变了上层应用的交互方式,也对底层基础设施提出了新的要求。
|
||||
|
||||
结合 AI Agent 场景的快速成熟和发展,AI 驱动的数据 Workload 也在快速发生着演变。可划分为三个阶段:
|
||||
|
||||
- **Training(训练)阶段,数据 Workload 特点是海量、大规模、高吞吐**
|
||||
- 海量 Dataset 数据集在对象存储中汇集,一个成熟模型在预训练阶段依赖的数据集规模可达到百 PiB~EiB 级别;Dataset 中的数据类型依据模型特点所决定,例如各类高精度生图生视频模型会更依赖高质量的多模态数据素材;
|
||||
- 训练启动前会将 Dataset 从存储向上加载至 GPU,训练启动后会周期性高频产生 CKPT 写入至存储,加载和写入都会跨越到 TB/s 级别的带宽;存储需要保障上述过程的性能和时效,否则会导致训练 GPU 空转。
|
||||
|
||||
- **Inference(推理)阶段,数据 Workload 特点是低时延、高并发、KV 化、高吞吐**
|
||||
- 推理服务面向用户实时交互,极致低时延是刚性指标,毫秒甚至微秒级的推理 IO 延迟都会直接影响端侧性能表现;
|
||||
- KVCache 成为关键负载,每轮 token 的生成都会关联依赖 KVCache。KVCache 的命中率和时延会直接影响推理响应的 TTFT 和 TBT;围绕超大规模的推理服务,KVCache 的吞吐也会线性提升,重依赖 KVCache 在分布式扩展性、分层架构方面的落地能力。
|
||||
|
||||
- **Agent(智能体)阶段,数据 Workload 特点是场景多元化、批量高负载、可观测/自进化**
|
||||
- 相较于训练、推理的标准化算力负载场景,Agent 应用阶段完全面向真实生产业务,场景碎片化、多元化特征突出,核心围绕智能体真实落地、业务闭环执行展开,所有负载能力均服务于 Agent 生产环境稳定运行与迭代进化;
|
||||
- 具备高频动态的环境沙箱与工作区读写需求,需要频繁创建、切换、销毁独立沙箱工作环境,产生大量临时性、场景化的环境数据、任务缓存、操作快照数据,对存储的灵活隔离、快速启停、轻量化读写能力要求极高;
|
||||
- 任务运行会持续生成文件、多模态 Output 数据,这类产物不再局限于单沙箱独立使用,存在极强的跨沙箱复用、共享、流转、公网访问需求,需要统一存储底座实现产物持久化留存;
|
||||
- 依赖全链路 Trace 观测与日志存储,Agent 多轮对话、工具调用、逻辑决策、任务执行的全流程需要完整溯源记录,并支撑 Agent 的进化。
|
||||
|
||||
基于上述 AI Workload 的变化,也驱动了存储范式的演进:
|
||||
|
||||
- **Content Storage** 面向 Dataset、文档、图片、视频、日志等数据,核心命题是海量、持久化、冷归档与分发,目标是"把内容保存好",对应过去十年围绕对象存储、并行文件系统和冷热分层建立起来的成熟范式;
|
||||
- **State Storage** 则面向 Checkpoint / Optimizer State、KVCache / Embedding、Environment / Memory / Trace 等执行状态,核心命题是短生命周期张量与上下文的高速流转、秒级恢复和低成本分叉,目标是"把系统状态维持住"。
|
||||
|
||||
上述两种范式的变化,并非简单的数据规模差异,而是在数据形态(文件 vs 数百 MB~数十 GB 的短生命周期状态块)、IO 模式(带宽敏感的顺序批扫 vs 延迟敏感的随机流转)、SLO 要求(秒级可用 vs 毫秒/微秒级不可失)与成本结构(可冷热分层 vs 无"冷"态可退)四个维度上的数据范式进化。
|
||||
|
||||
存储的角色因此**从"数据底座"升级为"状态底座"**,**从 Data Lake 走向 State Lake**。
|
||||
|
||||
火山存储围绕 AI Workload 的驱动变化,已布局了从 Training 到 Inference 到 Agent,从 Data Lake 走向 State Lake 完整的产品能力规划和落地。
|
||||
|
||||
本文重点围绕火山存储在 Agent 应用领域,从 Data Lake 走向 State Lake 的落地之路。
|
||||
|
||||
## 一、Agent 应用生态整体架构
|
||||
|
||||
从工程视角看,Agent 应用可以抽象为多个层次:底层是算力、控制面和环境接入面,中间是运行时引擎、工具路由、记忆管理和控制循环,上层则是具体的 Agent 应用、工作流和产品封装。
|
||||
|
||||
在这个体系中,存储能力贯穿多个关键环节。
|
||||
|
||||
围绕火山引擎客户各类 Agent 应用的运行特点,火山引擎存储团队将 Storage Agent Infra 的重点方向归纳为三类:
|
||||
|
||||
1. **Sandbox Store**:面向 Agent 沙箱运行环境,提供本地环境 rootfs 挂载、快照、启动恢复、状态保存等能力;
|
||||
2. **Artifact Store**:面向 Agent 执行过程中的镜像、程序包、脚本、模型、输入输出文件和任务产物,提供持久化、共享、分发和访问能力;
|
||||
3. **Agent 观测 & 评测**:面向 Agent 执行过程中的日志、Trace、Session、评测数据和实验结果,支撑观测、评测和持续优化闭环。
|
||||
|
||||
这三个方向分别对应 Agent 生命周期中的不同阶段。Sandbox Store 关注的是 Agent "在哪里运行"以及"如何快速、稳定地恢复运行环境";Artifact Store 关注的是 Agent "读写什么数据"以及"任务产物如何保存、共享和分发";Agent 观测 & 评测则关注 Agent "运行得怎么样"以及"如何基于数据持续改进"。它们共同构成了 Storage Agent Infra 的基本框架。
|
||||
|
||||
## 二、Storage Agent Infra 的三大能力方向和存储智能化
|
||||
|
||||
### 2.1 Sandbox Store:让 Agent 沙箱更快启动、更好恢复
|
||||
|
||||
Agent 的一个重要特点,是需要在受控环境中执行任务。在代码生成、数据处理、模型评估、多模态任务等场景中,Agent 往往需要一个相对完整的运行环境:它要能够安装依赖、执行脚本、读取输入、生成输出,并在必要时进行回滚、恢复或并行探索。这使得沙箱不只是一个"计算环境",其背后的状态保存、数据共享与会话通信,共同构成了 Agent Infra 中非常关键的一层。
|
||||
|
||||
同时沙箱在多种业务状态下的数据 Workload 变化,也推动 Sandbox Store 增加对各种 Data State 的支持,Sandbox Store 也逐步扮演为沙箱视角下的 State Lake。
|
||||
|
||||
在业务需求上,Sandbox Store 面临几类典型诉求:
|
||||
|
||||
- **启动要快**:沙箱启动时延通常需要控制在较低水平,以保证 Agent 交互和任务执行体验;
|
||||
- **状态要能保存**:在 pause / resume、checkpoint、模型评估、任务重试等场景中,需要通过快照等机制保存沙箱状态;
|
||||
- **容量要可控**:不同类型 Agent 对单沙箱容量的需求不同,但整体需要兼顾成本、密度和弹性;
|
||||
- **隔离要清晰**:多租户场景下,需要在存储边界、权限、容量和性能上提供隔离能力;
|
||||
- **恢复要灵活**:在跨机器、跨机房或批量调度场景中,恢复能力直接影响资源利用率和任务连续性;
|
||||
- **通信中枢**:不同沙箱中的 Agent 协作、复杂任务长会话、高并发请求、海量租户隔离场景,通信机制更为关键。
|
||||
|
||||
围绕这些需求,Storage Agent Infra 在 Sandbox Store 方向上重点规划了基于 EBS、EFS 和 MQ 的能力组合。
|
||||
|
||||
**通用沙箱 rootfs 场景**
|
||||
|
||||
- 云盘 EBS 更适合作为基础方案,通过快照、延迟加载(Lazyload)、批量创盘和挂载优化等能力,支持沙箱快速启动、批量创建、pause / resume 以及数据保护;
|
||||
- EBS 支持大规模高频快照、超长快照链、极速克隆,让 Agent 能随时存下当前状态、回退到任意一步。例如,在模型评估场景中,Agent 可以在每一步推理或实验后保存快照。如果某一步结果不理想,就可以基于前序快照重新拉起沙箱,调整模型参数或实验配置,从而支持更高效的并行探索和对比评估。
|
||||
|
||||
**多 Agent 并行实验、共享工作区和弹性容量等场景**
|
||||
|
||||
- EFS 可有效补齐 EBS 在共享与协同场景下的能力边界。 它提供高性能、弹性扩展的共享存储空间,具备完整 POSIX 语义,以及目录级访问隔离、目录级配额、目录级数据流动和共享挂载等能力,能够更好承载多沙箱、多 Agent 并行实验过程中对共享数据集、工作目录和中间结果的统一访问与管理需求。
|
||||
|
||||
**通信中枢需求**
|
||||
|
||||
- 会话级隔离与强顺序:**MQ LiteTopic** 为每一个 Agent 会话分配独立的消息主题,确保会话隔离,同时保持上下文严格顺序,为模型提供高质量交互源;
|
||||
- 海量并发与高效调度:百万级 LiteTopic 动态创建与自动释放机制,支持海量会话并发的弹性;基于优先级消息,实现异步调度、支撑 Multi-Agent 协作、长会话任务的高效准确的调度。
|
||||
|
||||
这套组合的本质,不是选择某一种存储介质,而是按 Agent 沙箱的运行状态特征做分层协同:
|
||||
|
||||
- **EBS** 承载沙箱本地状态,聚焦快速启动、快照恢复与强隔离;
|
||||
- **EFS** 补齐共享、弹性与 POSIX 文件能力,支撑多沙箱协作;
|
||||
- **MQ LiteTopic**则打通会话通信,以会话级隔离和弹性调度支撑长会话、高并发的交互链路。
|
||||
|
||||
三者分别覆盖沙箱的"状态、共享、通信"三个面,共同构成 Sandbox Store 的数据底座。
|
||||
|
||||
### 2.2 Artifact Store:承载 Agent 的输入、输出与任务产物
|
||||
|
||||
如果说 Sandbox Store 解决的是 Agent 的运行环境问题,那么 Artifact Store 解决的就是 Agent 执行过程中的数据流转问题。
|
||||
|
||||
Agent 在执行任务时,会持续消费和生成各类文件。它可能读取用户上传的文档、图片和数据集,也可能生成代码包、报告、模型结果、多媒体文件或中间产物。这些内容既需要在 Agent 内部被访问,也需要在用户、团队和其他系统之间共享。
|
||||
|
||||
从业务需求看,Artifact Store 具有几个明显特点:
|
||||
|
||||
- 文件大小通常集中在 KB 到 MB 级,部分任务类场景会产生更大的文件;
|
||||
- 吞吐需求整体不一定持续很高,但会出现任务型 burst;
|
||||
- 多数场景不需要 pause / resume,但需要多租户挂载、公网上传和分发;
|
||||
- 在 Coding、轻量数据库、小文件密集修改等场景中,会出现 POSIX 语义诉求;
|
||||
- 产物需要支持用户访问、团队协作、智能检索和长期保存。
|
||||
|
||||
围绕这些特征,Storage Agent Infra 在 Artifact Store 方向上形成了两类路径:
|
||||
|
||||
**第一类,面向强 POSIX 语义和高性能读写诉求的场景:**
|
||||
|
||||
- **强文件语义**: EFS 天然适合承载对文件系统 POSIX 语义、并发访问性能和本地目录体验要求较高的 Agent 业务。存储在 EFS 中的文件可通过标准目录树统一管理,使用体验与本地文件系统保持一致;同时,EFS 提供接近完整的 POSIX 语义兼容能力,支持 rename、文件锁、软硬链接、Close-to-Open 一致性等关键语义,能够更好适配依赖标准文件系统能力的 Agent 工具链;
|
||||
- **高性能**:EFS 能够应对 Agent 业务高并发、强波动的访问特征。针对性能下限保障,EFS 支持配置预置带宽,确保业务在关键阶段获得稳定的数据访问能力;针对突发性并发访问,EFS 面向 Agent 场景提供突发带宽能力,在千万级 Agent 并发访问时最高可获得 2TB/s 访问带宽。对于 git clone、tar 解压等典型小文件密集读写场景,EFS 可提供亚毫秒级时延和最高 3000 万 IOPS,帮助提升 Agent 启动、依赖拉取、任务执行和产物生成效率;
|
||||
- **数据流动与降本**:在数据生命周期管理上,EFS 的数据流动能力可以同时满足 Agent 产物的降本与分发需求。Agent 产物在生成阶段和高频访问阶段需要高性能文件访问,但长期不访问后会带来不必要的存储成本。通过数据流动,冷数据可自动淘汰至 TOS,释放 EFS 存储成本,同时淘汰后的文件仍可通过 EFS 路径直接访问。对于需要立即通过 URL 访问的产物,也可以通过数据流动的沉降能力即时写入 TOS 后,通过 TOS API 完成分发和公网访问。
|
||||
|
||||
**第二类,面向无强 POSIX 需灵活的数据分发生态的场景:**
|
||||
|
||||
对象存储天然适合承载任务产物、模型文件、脚本包和多模态文件的存储、分发和公网访问。
|
||||
|
||||
火山引擎 TOS 面向 Agent 产物"数量爆发、形态多样、访问不均"的特征,提供海量、弹性、低成本的存储能力:
|
||||
|
||||
- **海量**:采用扁平的对象命名空间与近乎无上限的横向扩展架构,单桶即可承载从千万到亿级乃至更高规模的对象,轻松容纳 Agent 在长期运行中持续生成的多模态文件与中间产物,开发者无需为容量规划和分库分桶操心;
|
||||
- **弹性**:存储容量与吞吐按实际用量自动伸缩,天然契合 Agent 产物生成"平时平稳、任务型突发(burst)"的访问特征。高峰时可弹性支撑大规模并发读写与分发,低谷时不产生额外资源占用,避免了为峰值预留容量带来的浪费;
|
||||
- **低成本**:以按量付费和规模效应显著摊薄单位存储成本;配合多档存储类型(标准 / 低频 / 归档 / 冷归档),可将不同访问热度的产物匹配到相应价位的存储层,在保证可用性的同时把长期留存成本降到最低;
|
||||
- **易运维**:TOS 在可运维性上,同样为海量产物的长期治理提供了完善能力。通过生命周期可按前缀、标签、创建时间等条件自动执行存储类型转换和删除,让冷、热产物在无人干预的情况下持续、自动地流转和清理;结合版本管理、事件通知、访问权限与审计等能力,Agent 产物的写入、访问与回收得以形成闭环治理。
|
||||
|
||||
**在上述两类场景基础上,另一个变化也在快速发生。**
|
||||
|
||||
Agent 时代,技术平权,开发方式在变化,借助大模型、Serverless 架构,可快速搭建 AI Agent。但从 demo 迈向"生产级应用",用户数演进到万级、百万级甚至亿级,存储管理复杂度指数级提升,多租隔离、权限、Quota 管理等变成难题。
|
||||
|
||||
火山存储 Artifact Store 整体会以 Agent Bucket 为统一基建,继而为亿级 Agent 用户时代的到来,做好充足的准备。
|
||||
|
||||
Agent Bucket 是火山引擎 TOS 推出的亿级 Agent 原生存储桶,也是火山引擎在国内存储领域又一引领业内趋势的前瞻性布局。
|
||||
|
||||
Agent Bucket 通过在传统 Bucket → Object 两层模型中引入 AI 原生资源层级 ObjectSet,让 Agent 时代的"开发者"无需自建复杂中间层,即可为亿级终端用户提供安全、隔离、Quota、管理的专属存储空间,助力 Agent 从"demo"走向"生产级应用"。
|
||||
|
||||
**进一步,TOS 针对多模态产物、Agent 上下文场景,我们推出了 SenseFlow、ContextBucket 功能。**
|
||||
|
||||
- **SenseFlow** **多模态理解与处理引擎**,让产物从"存下来",进一步走向"被理解"。数据不出桶,即可感知与处理:预置模板与算子编排,支持多模态处理、内容理解、智能检索与生成链路,并与 TOS 权限和事件通知天然打通。这使得任务产物不再只是静态文件,而是可感知、可检索、可加工、可消费的数据资产。
|
||||
- **ContextBucket** 面向 Agent 的记忆与工作区诉求,把 Agent 的长期记忆与工作区收敛到同一个底座上,做到"记得住、找得到、带得走"。它让上下文与中间状态得以跨任务、跨会话持续沉淀,Agent 在长周期任务和多轮协作中可以随时回到既有记忆和工作区,而不必每次从零构建。
|
||||
|
||||
Agent 时代,数字世界交互方式也在被重构 —— 人与 Agent 之间的协作与共享,呼唤全新的基础设施。火山引擎推出 **ADrive — Agentic 智能网盘**,专为 Agent 与人协同而生。
|
||||
|
||||
ADrive 是为 Agent 平台提供**可挂载、可访问、可管理、可共享**的持久化存储层,解决四个核心问题:
|
||||
|
||||
- **Agent 产物持久化与共享**:代码、报告、图片、数据文件等 Agent 产出不再散落在临时工作目录中。ADrive 自动持久化每一份产物,让它们可追溯、可检索、可共享,构建持续积累的个人知识库。
|
||||
- **Agent 存储管理与多租户隔离**:支持将 ADrive Space 映射 / 挂载为 Agent 工作目录或存储扩展,支撑海量租户(千万级至亿级)的隔离。每个 Agent 实例拥有独立的存储空间,安全可控。
|
||||
- **Agent & 人无缝协同**:打通跨 Agent 产品挂载同一空间、本地盘符挂载同步、客户端与 CLI / Skill 多端访问。Agent 读取与生成,人查看、编辑、分享与审计 —— 统一的工作空间闭环,让人与 Agent 真正协作。
|
||||
- **Agent 数据智能检索与再创作**:用户或 Agent 以自然语言检索文件,系统快速返回匹配结果与内容概览。AI 助手基于 Agent 产出文件进行摘要、改写与二次创作;基于知识库内容智能问答,答案精准溯源至原始文件。
|
||||
|
||||
**这意味着,Artifact Store 并不只是一个"文件存储服务",而是在 Agent 与人、Agent 与 Agent、Agent 与平台之间,提供统一的数据承载、理解与记忆入口——产物既存得下、又理解得了、还记得住。**
|
||||
|
||||
### 2.3 Agent 观测 & 评测:让 Agent 形成持续优化闭环
|
||||
|
||||
Agent 系统与传统应用的一个重要差异在于:它的运行结果并不总是可以通过固定规则判断。一次 Agent 任务是否完成得好,可能取决于中间推理路径、工具调用结果、上下文使用方式、模型输出质量以及最终用户反馈。要持续提升 Agent 的能力,就必须对执行过程进行记录、观测、分析和评测。因此,Storage Agent Infra 将观测到评测的闭环作为重要方向之一。
|
||||
|
||||
TLS AgentLoop 承担了 Agent 观测、数据飞轮平台能力,并打通评测进化。它可以围绕 Agent 执行过程,提供观测数据接入、 Trace 调用链 / Session分析 / 监控大盘等观测数据、数据处理与 Trace 回流,并与 Cozeloop 合作,打通评测集 / 评估器管理 / 评估实验。TLS AgentLoop,将 Agent 的运行过程,从"黑盒结果"转化为"可观测、可分析、可评测"的数据资产。
|
||||
|
||||
对于研发团队而言,这可以帮助判断不同版本 Agent 的效果变化;对于平台团队而言,这可以帮助发现系统瓶颈、工具调用异常和任务失败原因;对于业务团队而言,这可以帮助持续优化 Agent 的任务完成质量。
|
||||
|
||||
更进一步,围绕 Ops Agent 的规划也体现了类似思路:通过日志、指标和观测数据,支持异常巡检、智能分析、问题诊断、修复建议和 Runbook 联动,推动企业运维工作流向 Agent 化演进。
|
||||
|
||||
### 2.4 从存储系统到 Agentic Teammate
|
||||
|
||||
Storage Agent Infra 的另一个重要方向,是让存储团队自己也成为这套基础设施的使用者。
|
||||
|
||||
在规划中,火山引擎存储团队提出了 **Storage Agent Family** 的思路:围绕 TOS、EBS、TLS、EFS、MQ 等存储和中间件产品,逐步建设面向用户和工程师的智能助手能力。
|
||||
|
||||
这些 Agent 可以提供预置专家能力,例如存储运维、方案选型、洞察分析、知识库问答、日志与报表总结等;默认内置安全围栏,在高危操作中引入 Human in the loop 或直接拦截,保证 Agent 运行始终处于业务安全范围内;同时,还可以支持用户自定义技能和自定义知识库,适配不同产品与用户场景。
|
||||
|
||||
Storage Agent 还支持记忆进化能力,Agent 回复后用户确认对/错,可选择将其沉淀为记忆/知识方便后续自动复用。这代表了一个更长期的方向:存储系统不只是被 Agent 使用,也可以通过 Agent 化能力提升自身的可用性,让你的 Agent 越用越"聪明"。
|
||||
|
||||
换句话说,Storage Agent Infra 既是 Agent 应用的底层存储基础设施,也是存储产品走向智能化、助手化和协作化的重要支点。
|
||||
|
||||
## 三、三个真实场景:能力如何落地
|
||||
|
||||
Storage Agent Infra 的前三大能力方向落到业务一线,会变成更具体的工程问题:推理链路需要反复快照、Input / Output 需要资产化管理、人与 Agent 的协作空间需要产品化。下面通过三个典型场景,看这些能力如何组合起来支撑真实的 Agent 业务。
|
||||
|
||||
**场景一|研发测试类 Agent**
|
||||
|
||||
在单次开发调试链路中连续记录快照,支持基于任一历史状态回滚、切换分支/依赖并重跑。这依赖基于 EBS 高频快照所实现的版本回溯能力,以及沙箱的 pause / resume 机制作为底层支撑。
|
||||
|
||||
**场景二|多模态创作类 Agent**
|
||||
|
||||
Input 素材先预处理再入库,Output 素材生成后沉淀、回传,并支持公网访问,对应 **Agent Bucket on TOS**、Input / Output 资产库与分发能力。
|
||||
|
||||
**场景三| 智能办公类 Agent**
|
||||
|
||||
用户素材留在 User 空间,Agent 协作内容进入 Claw 空间,团队共享访问并用 AI Search 检索,背后依赖 ADrive 智能网盘的双空间、协作与检索能力。
|
||||
|
||||
三个场景把 Sandbox 对启动、快照、恢复的即时要求,与 Artifact 对多租、共享、分发、检索的持续要求同时压实。
|
||||
|
||||
## 四、面向 Agent 时代,重新理解存储基础设施
|
||||
|
||||
Agent 带来的真正变化,不只是新增一类负载,而是重塑存储的服务对象与价值边界。当 AI 从"回答问题"走向"完成任务",存储要承接的已不再是静止的文件,而是持续流动的任务、状态、上下文与产物。
|
||||
|
||||
存储的价值坐标,也因此从"提供了多少容量",转向"托住了多少状态、参与了多少闭环"——**它从被动的数据底座,成长为主动的状态底座。**
|
||||
|
||||
这也意味着,衡量一套存储基础设施是否面向 Agent,标准不再是单点的容量、带宽或时延,而是它能否在 Agent 的完整生命周期中始终在场:环境要能秒级拉起与恢复,产物要能被理解、被检索、被记忆,运行过程要能被观测、被评测、被反哺。
|
||||
|
||||
Storage Agent Infra 的意义正在于此,火山存储以 **Sandbox Store、Artifact Store、Agent 观测 & 评测**三条主线为骨架,把 EBS、EFS、TOS、ADrive、TLS、MQ 等能力按 Agent 的运行状态特征重新编排,让离散的存储介质凝聚为一个"理解任务、承接状态、参与闭环"的有机整体。
|
||||
|
||||
更进一步,当存储团队让自身也成为这套基础设施的使用者,存储便完成了一次角色跃迁:**从被 Agent 调用的资源,变为与人和 Agent 并肩协作的 Teammate**。存储不再只是任务链路末端的落点,而是能感知、会分析、可进化的一环,在使用中持续变得更聪明、更可靠。
|
||||
|
||||
这正是"从 Data Lake 走向 State Lake"的深层含义:存储的终局,不是更大的湖,而是更懂业务的底座。**面向 Agent 时代,火山引擎存储团队将沿着这一方向持续演进,让存储真正成为 Agent 运行、协作与自我进化中不可或缺、且越用越智能的基础设施。**
|
||||
@@ -0,0 +1,79 @@
|
||||
# 📊 文章摘要:从 Data Lake 到 State Lake:面向 Agent 时代的存储基础设施重构
|
||||
|
||||
> **原文**:[2026-08-20_从_Data_Lake_到_State_Lake_面向_Agent_时代的存储基础设施重构](./2026-08-20_从_Data_Lake_到_State_Lake_面向_Agent_时代的存储基础设施重构.md)
|
||||
> **原文链接**:https://mp.weixin.qq.com/s/qakhw_mXrCO7Fcb3tikv4A
|
||||
> **来源**:微信公众平台
|
||||
> **作者**:火山引擎存储
|
||||
> **发布日期**:2026-08-20
|
||||
> **摘要日期**:2026-08-20
|
||||
> **价值评级**:⭐⭐⭐ 高
|
||||
|
||||
---
|
||||
|
||||
## 核心命题
|
||||
|
||||
> **状态底座** — 存储正从承载静止内容的 Data Lake 升级为承接 Agent 运行状态(沙箱、产物、记忆、Trace)的 State Lake,价值标尺从"提供多少容量"变为"托住多少状态、参与多少闭环"。
|
||||
|
||||
---
|
||||
|
||||
## 文章概要
|
||||
|
||||
火山引擎存储团队的体系性技术宣言:AI 应用的演进(Training→Inference→Agent)驱动数据负载范式变化,Content Storage(把内容保存好)与 State Storage(把系统状态维持住)在数据形态、IO 模式、SLO、成本结构四维上分野,存储角色从"数据底座"升级为"状态底座"。围绕 Storage Agent Infra 提出三大能力方向——Sandbox Store(EBS 状态 + EFS 共享 + MQ LiteTopic 通信的分层协同)、Artifact Store(EFS/TOS 双路径 + Agent Bucket 亿级原生存储 + SenseFlow/ContextBucket + ADrive 人机协同网盘)、Agent 观测评测(TLS AgentLoop 数据飞轮),并展望存储从被调用资源变为 Agentic Teammate。作为厂商一手架构文章,框架价值高,但本质是产品布局陈述,缺乏与业界方案的对比和公开性能数据。
|
||||
|
||||
---
|
||||
|
||||
## 关键要点
|
||||
|
||||
1. **AI Workload 三阶段演进** — Training(海量高吞吐)、Inference(低时延高并发 KV 化)、Agent(场景多元、批量高负载、可观测/自进化),负载特征逐阶段分化 `[分类: 共识]`
|
||||
2. **Content vs State 两种存储范式四维分野** — 数据形态(文件 vs 数百 MB~数十 GB 短生命周期状态块)、IO 模式(带宽敏感顺序批扫 vs 延迟敏感随机流转)、SLO(秒级可用 vs 毫秒/微秒级不可失)、成本结构(可冷热分层 vs 无"冷"态可退)`[分类: 范式突破]`
|
||||
3. **Sandbox Store 三件套分层协同** — EBS 承载沙箱本地状态(高频快照、极速克隆、任意步回退),EFS 补齐 POSIX 共享与弹性容量,MQ LiteTopic 打通会话通信(百万级主题、会话隔离、强顺序)`[分类: 共识]`
|
||||
4. **快照即 Agent 的"存档点"** — 模型评估场景中每步推理后存快照、结果不理想即回退重跑,把"游戏存档"机制引入 Agent 并行探索 `[分类: 范式突破]`
|
||||
5. **Agent Bucket 引入 ObjectSet 层级** — 在 Bucket→Object 两层模型中增加 AI 原生资源层级,让开发者无需自建中间层即可为亿级终端用户提供隔离、Quota 管理的专属空间 `[分类: 未探索方向]`
|
||||
6. **存储从"存下来"到"被理解"** — SenseFlow 让数据不出桶即可多模态处理与检索;ContextBucket 把 Agent 长期记忆与工作区收敛到同一底座(记得住、找得到、带得走)`[分类: 未探索方向]`
|
||||
7. **ADrive 重构人机协作空间** — 产物持久化、多租隔离、人查看/编辑/审计与 Agent 读取/生成的统一工作空间闭环 `[分类: 未探索方向]`
|
||||
8. **观测评测评闭环是 Agent 进化的前提** — TLS AgentLoop 把运行过程从"黑盒结果"转化为可观测、可分析、可评测的数据资产,与评测集管理打通 `[分类: 共识]`
|
||||
9. **存储的终极角色:Agentic Teammate** — 从被 Agent 调用的资源,变为与人和 Agent 并肩协作、越用越聪明的一环 `[分类: 范式突破]`
|
||||
|
||||
---
|
||||
|
||||
## 批判性分析
|
||||
|
||||
### 假设前提
|
||||
|
||||
(1) Agent 负载将成为存储的主要增量场景——成立与否取决于 Agent 生产化落地速度;(2) 云厂商统一底座优于用户自组装开源组件——文章回避了自建路线(如自管 Redis/对象存储/文件系统组合)的成本对比;(3) "State Lake"是范式跃迁而非营销命名——四维分野论证有一定支撑,但 KV Cache 存储等早已有之,新意在于统一框架化。
|
||||
|
||||
### 论据与逻辑
|
||||
|
||||
作为架构文章,逻辑自洽:负载特征→范式分野→三大方向→场景落地,链条完整。但论据全部为产品能力陈述("2TB/s 突发带宽""3000 万 IOPS"均为厂商口径),无第三方评测、无真实客户数据、无失败案例。三个"真实场景"实为能力到场景的映射示例,非案例复盘。与业界(如 AWS/Azure 的 Agent 存储方案、Mooncake 类 KVCache 系统)无对比定位。
|
||||
|
||||
### 边界与局限
|
||||
|
||||
适用于理解 Agent 时代存储需求的结构性变化与云厂商布局方向;具体产品选型不可直接采信(需实测)。文章代表火山引擎单一视角,"引领业内趋势"等自我评价需过滤。Agent Bucket/SenseFlow/ContextBucket 等为规划或早期产品,成熟度未知。
|
||||
|
||||
---
|
||||
|
||||
## 可引用金句
|
||||
|
||||
> "存储的价值坐标,也因此从'提供了多少容量',转向'托住了多少状态、参与了多少闭环'——它从被动的数据底座,成长为主动的状态底座。"
|
||||
|
||||
> "存储的终局,不是更大的湖,而是更懂业务的底座。"
|
||||
|
||||
> "它让上下文与中间状态得以跨任务、跨会话持续沉淀,Agent 在长周期任务和多轮协作中可以随时回到既有记忆和工作区,而不必每次从零构建。"
|
||||
|
||||
---
|
||||
|
||||
## 总体评价
|
||||
|
||||
**亮点**:
|
||||
- "State Lake"四维分野框架清晰,是理解 Agent 存储需求的优秀心智模型
|
||||
- Sandbox Store 的"状态/共享/通信"三面分解与快照-回退机制描述具体可感
|
||||
- 把观测-评测-进化闭环纳入存储基础设施范畴,视角完整
|
||||
|
||||
**不足**:
|
||||
- 厂商白皮书性质,全部性能数字无第三方验证
|
||||
- 无与竞品/自建方案的对比,"引领趋势"式自我评价过多
|
||||
- Agent Bucket 等关键新概念的技术细节(ObjectSet 如何实现隔离)语焉不详
|
||||
|
||||
**适用场景**:Agent 平台架构设计参考、云存储产品选型调研起点、AI Infra 趋势研究
|
||||
|
||||
**关联建议**:与 PD 分离/KV Cache 主题文章(2026-08-06 归档批次)对读,理解推理侧 KVCache 存储与 Agent 侧状态存储的谱系;跟踪 Agent Bucket、ContextBucket 的实际落地与定价
|
||||
Reference in New Issue
Block a user