arno
c0ba3fb853
- 46 篇原文+摘要双文件归档（按 来源/作者 分层，复用本地归档 20 篇+新抓取 26 篇） - 即梦生成 9 组主题配图（大图+列表缩略图）存入 知识/金鹏/20260806/ - 章节重组为 9 个主题分组并挂接摘要引用
107 lines
6.9 KiB
Markdown
107 lines
6.9 KiB
Markdown
# AIBrix：云原生 GenAI 推理基础设施（字节跳动开源）
|
||
|
||
> **来源**：GitHub
|
||
> **作者**：字节跳动（ByteDance），vllm-project 组织托管
|
||
> **发布日期**：2026-06-16
|
||
> **原文链接**：https://github.com/vllm-project/aibrix
|
||
|
||
---
|
||
|
||
# AIBrix
|
||
|
||
欢迎使用 AIBrix，一个开源项目，旨在为构建可扩展的 GenAI 推理基础设施提供必要的构建模块。AIBrix 提供了一种云原生解决方案，专门针对企业需求优化，用于部署、管理和扩展大语言模型（LLM）推理。
|
||
|
||
相关链接：[Documentation](https://aibrix.readthedocs.io/latest/) | [Blog](https://aibrix.github.io/) | [White Paper](https://arxiv.org/abs/2504.03648) | [Twitter/X](https://x.com/vllm_project) | [Developer Slack](https://vllm-dev.slack.com/archives/C08EQ883CSV)
|
||
|
||
## 最新动态（Latest News）
|
||
|
||
### 版本发布（Releases）
|
||
- **[2026-06-16]** AIBrix v0.7.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.7.0) 和 [Blog Post](https://aibrix.github.io/posts/2026-06-16-v0.7.0-release/) 了解详情。
|
||
- **[2026-03-05]** AIBrix v0.6.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.6.0) 和 [Blog Post](https://aibrix.github.io/posts/2026-03-03-v0.6.0-release/) 了解详情。
|
||
- **[2025-11-10]** AIBrix v0.5.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.5.0) 和 [Blog Post](https://aibrix.github.io/posts/2025-11-10-v0.5.0-release/) 了解详情。
|
||
- **[2025-08-05]** AIBrix v0.4.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.4.0) 和 [Blog Post](https://aibrix.github.io/posts/2025-08-04-v0.4.0-release/) 了解详情。
|
||
- **[2025-05-21]** AIBrix v0.3.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.3.0) 和 [Blog Post](https://aibrix.github.io/posts/2025-05-21-v0.3.0-release/) 了解详情。
|
||
- **[2025-03-09]** AIBrix v0.2.1 发布。支持 DeepSeek-R1 全权重部署，并提升了网关稳定性！查看 [Blog Post](https://aibrix.github.io/posts/2025-03-10-deepseek-r1/) 了解详情。
|
||
- **[2025-02-19]** AIBrix v0.2.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.2.0) 和 [Blog Post](https://aibrix.github.io/posts/2025-02-05-v0.2.0-release/) 了解详情。
|
||
- **[2024-11-13]** AIBrix v0.1.0 发布。查看 [release notes](https://github.com/vllm-project/aibrix/releases/tag/v0.1.0) 和 [Blog Post](https://aibrix.github.io/posts/2024-11-12-v0.1.0-release/) 了解详情。
|
||
|
||
### 演讲与分享（Talks and Presentations）
|
||
|
||
- **[2025-11-12]** AIBrix 团队在 KubeCon North America 2025 联合发表主题演讲 [AIBrix: Kubernetes-native GenAI Inference Infrastructure](https://www.youtube.com/watch?v=7KHenRXNGAw&t=875s)，提供 AIBrix 概览。
|
||
- **[2025-06-10]** AIBrix 团队在 KubeCon China 2025 发表演讲 [AIBrix: Cost-Effective and Scalable Kubernetes Control Plane for vLLM](https://kccncchn2025.sched.com/event/1x5im/introducing-aibrix-cost-effective-and-scalable-kubernetes-control-plane-for-vllm-jiaxin-shan-liguang-xie-bytedance)，讨论该框架如何通过 Kubernetes 优化 vLLM 部署以实现成本效益和可扩展性。
|
||
- **[2025-04-04]** AIBrix 团队在 KubeCon EU 2025 与 Google 联合发表主题演讲 [LLM-Aware Load Balancing in Kubernetes: A New Era of Efficiency](https://kccnceu2025.sched.com/event/1txC7/keynote-llm-aware-load-balancing-in-kubernetes-a-new-era-of-efficiency-clayton-coleman-distinguished-engineer-google-jiaxin-shan-software-engineer-bytedance)，聚焦 LLM 特定路由解决方案。
|
||
- **[2025-03-30]** AIBrix 在 [ASPLOS'25](http://asplos-conference.org/asplos2025/) 研讨会上展示 [AIBrix: An Open-Source, Large-Scale LLM Inference Infrastructure for System Research](https://docs.google.com/presentation/d/1YDVsPFTIgGXnROGaJ1VKuDDAB4T5fzpE/edit)，展示其在系统研究场景下高效 LLM 推理的架构。
|
||
|
||
## 核心特性（Key Features）
|
||
|
||
首个版本包含以下核心特性：
|
||
|
||
- **高密度 LoRA 管理**：对模型轻量级低秩适配的流式支持。
|
||
- **LLM 网关与路由**：跨多个模型和副本高效管理和调度流量。
|
||
- **面向 LLM 应用的定制化自动扩缩容器**：基于实时需求动态扩展推理资源。
|
||
- **统一 AI 运行时**：一个多用途边车，支持指标标准化、模型下载和管理。
|
||
- **分布式推理**：可扩展的架构，跨多个节点处理大规模工作负载。
|
||
- **分布式 KV Cache**：支持高容量、跨引擎的 KV 复用。
|
||
- **高性价比异构服务**：支持混合 GPU 推理，在 SLO 保证下降低成本。
|
||
- **GPU 硬件故障检测**：主动检测 GPU 硬件问题。
|
||
|
||
## 架构（Architecture）
|
||
|
||
|
||
|
||
## 快速开始（Quick Start）
|
||
|
||
要开始使用 AIBrix，克隆此仓库并按照文档中的设置说明操作。综合指南将帮助您无缝配置和部署首个 LLM 基础设施。
|
||
|
||
```shell
|
||
# 本地测试
|
||
git clone https://github.com/vllm-project/aibrix.git
|
||
cd aibrix
|
||
|
||
# 安装 nightly aibrix 依赖
|
||
kubectl apply -k config/dependency --server-side
|
||
|
||
# 安装 nightly AIBrix CRDs（与 operator 分离，卸载时不会清除用户 CR）
|
||
kubectl apply -k config/crd --server-side
|
||
|
||
# 安装 nightly aibrix 组件
|
||
kubectl apply -k config/default
|
||
```
|
||
|
||
安装稳定版本：
|
||
|
||
```shell
|
||
# 安装组件依赖
|
||
kubectl apply -f "https://github.com/vllm-project/aibrix/releases/download/v0.7.0/aibrix-dependency-v0.7.0.yaml" --server-side
|
||
|
||
# 安装 AIBrix CRDs（与 operator 分离，卸载时不会清除用户 CR）
|
||
kubectl apply -f "https://github.com/vllm-project/aibrix/releases/download/v0.7.0/aibrix-core-crds-v0.7.0.yaml" --server-side
|
||
|
||
# 安装 aibrix 组件
|
||
kubectl apply -f "https://github.com/vllm-project/aibrix/releases/download/v0.7.0/aibrix-core-v0.7.0.yaml"
|
||
```
|
||
|
||
## 文档（Documentation）
|
||
|
||
关于安装、配置和使用的详细文档，请访问[文档页面](https://aibrix.readthedocs.io/latest/)。
|
||
|
||
## 贡献（Contributing）
|
||
|
||
欢迎社区贡献！查看[贡献指南](./CONTRIBUTING.md)了解如何参与。
|
||
|
||
Slack 频道：[#aibrix](https://vllm-dev.slack.com/archives/C08EQ883CSV)
|
||
|
||
## 许可证（License）
|
||
|
||
AIBrix 基于 [Apache 2.0 License](LICENSE) 许可。
|
||
|
||
## 支持（Support）
|
||
|
||
如有任何疑问或问题，请在 [GitHub issues 页面](https://github.com/vllm-project/aibrix/issues) 提交 issue。
|
||
|
||
感谢您选择 AIBrix 满足您的 GenAI 基础设施需求！
|
||
|
||
---
|
||
|
||
> 仓库结构摘要（README 原文）：`api/`（autoscaling/model/orchestration）、`apps/`（chat/console）、`benchmarks/` + `brixbench/`（基准测试）、`cmd/`（controllers/kvcache-watcher/plugins）、`config/`（crd/default/dependency 等）、`deployment/`（local/standalone/terraform）、`docs/`、`pkg/`（controller/kvevent/plugins 等 Go 包）、`python/`（aibrix/aibrix_kvcache）、`samples/`（disaggregation、deepseek-r1、kvcache、autoscaling 等示例）、`test/`（e2e/integration/regression）。
|