arno
c0ba3fb853
- 46 篇原文+摘要双文件归档（按 来源/作者 分层，复用本地归档 20 篇+新抓取 26 篇） - 即梦生成 9 组主题配图（大图+列表缩略图）存入 知识/金鹏/20260806/ - 章节重组为 9 个主题分组并挂接摘要引用
6.9 KiB
AIBrix：云原生 GenAI 推理基础设施（字节跳动开源）
来源：GitHub
作者：字节跳动（ByteDance），vllm-project 组织托管
发布日期：2026-06-16
原文链接：https://github.com/vllm-project/aibrix
AIBrix
欢迎使用 AIBrix，一个开源项目，旨在为构建可扩展的 GenAI 推理基础设施提供必要的构建模块。AIBrix 提供了一种云原生解决方案，专门针对企业需求优化，用于部署、管理和扩展大语言模型（LLM）推理。
相关链接：Documentation | Blog | White Paper | Twitter/X | Developer Slack
最新动态（Latest News）
版本发布（Releases）
- [2026-06-16] AIBrix v0.7.0 发布。查看 release notes 和 Blog Post 了解详情。
- [2026-03-05] AIBrix v0.6.0 发布。查看 release notes 和 Blog Post 了解详情。
- [2025-11-10] AIBrix v0.5.0 发布。查看 release notes 和 Blog Post 了解详情。
- [2025-08-05] AIBrix v0.4.0 发布。查看 release notes 和 Blog Post 了解详情。
- [2025-05-21] AIBrix v0.3.0 发布。查看 release notes 和 Blog Post 了解详情。
- [2025-03-09] AIBrix v0.2.1 发布。支持 DeepSeek-R1 全权重部署，并提升了网关稳定性！查看 Blog Post 了解详情。
- [2025-02-19] AIBrix v0.2.0 发布。查看 release notes 和 Blog Post 了解详情。
- [2024-11-13] AIBrix v0.1.0 发布。查看 release notes 和 Blog Post 了解详情。
演讲与分享（Talks and Presentations）
- [2025-11-12] AIBrix 团队在 KubeCon North America 2025 联合发表主题演讲 AIBrix: Kubernetes-native GenAI Inference Infrastructure，提供 AIBrix 概览。
- [2025-06-10] AIBrix 团队在 KubeCon China 2025 发表演讲 AIBrix: Cost-Effective and Scalable Kubernetes Control Plane for vLLM，讨论该框架如何通过 Kubernetes 优化 vLLM 部署以实现成本效益和可扩展性。
- [2025-04-04] AIBrix 团队在 KubeCon EU 2025 与 Google 联合发表主题演讲 LLM-Aware Load Balancing in Kubernetes: A New Era of Efficiency，聚焦 LLM 特定路由解决方案。
- [2025-03-30] AIBrix 在 ASPLOS'25 研讨会上展示 AIBrix: An Open-Source, Large-Scale LLM Inference Infrastructure for System Research，展示其在系统研究场景下高效 LLM 推理的架构。
核心特性（Key Features）
首个版本包含以下核心特性：
- 高密度 LoRA 管理：对模型轻量级低秩适配的流式支持。
- LLM 网关与路由：跨多个模型和副本高效管理和调度流量。
- 面向 LLM 应用的定制化自动扩缩容器：基于实时需求动态扩展推理资源。
- 统一 AI 运行时：一个多用途边车，支持指标标准化、模型下载和管理。
- 分布式推理：可扩展的架构，跨多个节点处理大规模工作负载。
- 分布式 KV Cache：支持高容量、跨引擎的 KV 复用。
- 高性价比异构服务：支持混合 GPU 推理，在 SLO 保证下降低成本。
- GPU 硬件故障检测：主动检测 GPU 硬件问题。
架构（Architecture）
快速开始（Quick Start）
要开始使用 AIBrix，克隆此仓库并按照文档中的设置说明操作。综合指南将帮助您无缝配置和部署首个 LLM 基础设施。
# 本地测试
git clone https://github.com/vllm-project/aibrix.git
cd aibrix
# 安装 nightly aibrix 依赖
kubectl apply -k config/dependency --server-side
# 安装 nightly AIBrix CRDs（与 operator 分离，卸载时不会清除用户 CR）
kubectl apply -k config/crd --server-side
# 安装 nightly aibrix 组件
kubectl apply -k config/default
安装稳定版本：
# 安装组件依赖
kubectl apply -f "https://github.com/vllm-project/aibrix/releases/download/v0.7.0/aibrix-dependency-v0.7.0.yaml" --server-side
# 安装 AIBrix CRDs（与 operator 分离，卸载时不会清除用户 CR）
kubectl apply -f "https://github.com/vllm-project/aibrix/releases/download/v0.7.0/aibrix-core-crds-v0.7.0.yaml" --server-side
# 安装 aibrix 组件
kubectl apply -f "https://github.com/vllm-project/aibrix/releases/download/v0.7.0/aibrix-core-v0.7.0.yaml"
文档（Documentation）
关于安装、配置和使用的详细文档，请访问文档页面。
贡献（Contributing）
欢迎社区贡献！查看贡献指南了解如何参与。
Slack 频道：#aibrix
许可证（License）
AIBrix 基于 Apache 2.0 License 许可。
支持（Support）
如有任何疑问或问题，请在 GitHub issues 页面 提交 issue。
感谢您选择 AIBrix 满足您的 GenAI 基础设施需求！
仓库结构摘要（README 原文）：
api/（autoscaling/model/orchestration）、apps/（chat/console）、benchmarks/+brixbench/（基准测试）、cmd/（controllers/kvcache-watcher/plugins）、config/（crd/default/dependency 等）、deployment/（local/standalone/terraform）、docs/、pkg/（controller/kvevent/plugins 等 Go 包）、python/（aibrix/aibrix_kvcache）、samples/（disaggregation、deepseek-r1、kvcache、autoscaling 等示例）、test/（e2e/integration/regression）。