arno
c0ba3fb853
- 46 篇原文+摘要双文件归档（按 来源/作者 分层，复用本地归档 20 篇+新抓取 26 篇） - 即梦生成 9 组主题配图（大图+列表缩略图）存入 知识/金鹏/20260806/ - 章节重组为 9 个主题分组并挂接摘要引用
1.5 KiB
1.5 KiB
Welcome to NVIDIA Dynamo
来源：NVIDIA Dynamo 文档
作者：未知
发布日期：2026-08-06
原文链接：https://docs.nvidia.com/dynamo/latest/index.html
NVIDIA Dynamo Platform 是一个高性能、低延迟的推理框架，旨在服务于所有 AI 模型——支持任何框架、任何架构、任何部署规模。
本指南是某一特定时间点的快照。获取最新信息和示例，请参见 Dynamo GitHub 仓库。
Quickstart（快速开始）
只需几个命令即可在本地开始使用 Dynamo：
1. 安装 Dynamo
# Install uv (recommended Python package manager)
curl -LsSf https://astral.sh/uv/install.sh | sh
# Create virtual environment and install Dynamo
uv venv venv
source venv/bin/activate
uv pip install "ai-dynamo[sglang]==0.4.1" # or [vllm], [trtllm]
2. 启动 etcd/NATS
# Fetch and start etcd and NATS using Docker Compose
curl -fsSL -o docker-compose.yml https://raw.githubusercontent.com/ai-dynamo/dynamo/release/0.4.1/deploy/docker-compose.yml
docker compose -f docker-compose.yml up -d
3. 运行 Dynamo
# Start the OpenAI compatible frontend (default port is 8080)
python -m dynamo.frontend
# In another terminal, start an SGLang worker
python -m dynamo.sglang --model-path Qwen/Qwen3-0.6B
4. 测试部署
curl localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "Qwen/Qwen3-0.6B",
"messages": [{"role": "user", "content": "Hello!"}],
"max_tokens": 50}'