配置(命令): 添加即梦AI生成命令与文章摘要配图流程
- 新增 arno-dreamina 命令,支持文生图/图生图/文生视频等 AI 生成能力 - 更新 arno-article-summary 命令,添加配图生成步骤(调用即梦 AI) - 添加 2026-06-05 金鹏文章摘要(AI+业务赋能、Hy-Memory 记忆演化) - 添加文章配图(20260605-001.png、20260605-002.png) - 添加即梦 CLI 模型对比与使用记忆
This commit is contained in:
@@ -35,9 +35,48 @@ $ARGUMENTS
|
||||
3. **排序**:体系内按层级递进排列,独立工具/项目放在最后
|
||||
4. **确定父条目**:为核心命题创建一个父条目——标题用核心命题,链接用首篇文章URL,配一张代表图片和一句金句标签
|
||||
|
||||
### 4. 输出格式
|
||||
### 4. 生成文章配图
|
||||
|
||||
#### 4a. 体系内文章组(有关联的文章,用父条目分组)
|
||||
摘要编写完成后,**必须**调用即梦 AI(Dreamina)为父条目或独立文章生成配图。
|
||||
|
||||
#### 4a. 构建生成提示词
|
||||
|
||||
从文章分析结果中提取以下元素构建文生图提示词:
|
||||
|
||||
- **核心命题**(2-6 字)作为画面主题
|
||||
- **关键要点**(3-5 个核心概念)转化为视觉元素
|
||||
- **文章调性**决定视觉风格:
|
||||
|
||||
| 文章类型 | 风格建议 |
|
||||
|---------|---------|
|
||||
| AI/技术类 | 深蓝科技色调,光晕效果,扁平化商务风 |
|
||||
| 商业/战略类 | 暖色商务色调,简约现代,数据可视化元素 |
|
||||
| 人文/哲学类 | 柔和暖色调,抽象意境,留白设计 |
|
||||
|
||||
提示词模板(16:9 横版,适合文章题图):
|
||||
```
|
||||
一张关于"{核心命题}"的主题配图,{关键概念转化成的视觉元素}。{风格要求}。适合作为技术文章的题图,简洁有力。
|
||||
```
|
||||
|
||||
#### 4b. 调用即梦生成
|
||||
|
||||
使用 `Skill` 工具调用 `arno-dreamina` 技能,传入提示词和下载路径:
|
||||
|
||||
```
|
||||
Skill: arno-dreamina
|
||||
Args: 生成一张16:9横版文章配图,提示词:{构建的提示词}。下载到 知识/金鹏/{YYYYMMDD}/{YYYYMMDD}-{NNN}.png
|
||||
```
|
||||
|
||||
#### 4c. 确认配图与占位一致
|
||||
|
||||
下载完成后确认:
|
||||
- 图片本地路径与摘要中 `` 占位一致
|
||||
- 日期与文章日期匹配
|
||||
- 父条目配图用 `-001`,子文章按序编号
|
||||
|
||||
### 5. 输出格式
|
||||
|
||||
#### 5a. 体系内文章组(有关联的文章,用父条目分组)
|
||||
|
||||
```markdown
|
||||
- [核心命题](首篇文章URL)
|
||||
@@ -63,7 +102,7 @@ $ARGUMENTS
|
||||
- 总纲的定位描述放在来源之前(因为它是全组的总起),其他子文章的定位描述放在来源之后
|
||||
- 定位描述承上启下,用关联词串联上下文
|
||||
|
||||
#### 4b. 独立文章(不属任何体系的工具项目或单篇文章)
|
||||
#### 5b. 独立文章(不属任何体系的工具项目或单篇文章)
|
||||
|
||||
```markdown
|
||||
- [文章标题](URL)
|
||||
|
||||
@@ -0,0 +1,260 @@
|
||||
---
|
||||
name: 即梦AI生成
|
||||
description: 使用即梦(Dreamina)CLI 生成图片或视频,支持文生图、图生图、文生视频、图生视频、多图生视频、多模态生视频
|
||||
argument-hint: <生成需求描述>
|
||||
---
|
||||
|
||||
## 用户输入
|
||||
|
||||
```text
|
||||
$ARGUMENTS
|
||||
```
|
||||
|
||||
## 概述
|
||||
|
||||
即梦(Dreamina)是字节跳动旗下的 AI 创作平台。`dreamina` CLI 是其命令行入口,允许在任意环境中使用即梦的生成能力。
|
||||
|
||||
详细文档:https://bytedance.larkoffice.com/wiki/FWTwwm0bGiishxkKOoScdHR2nsg
|
||||
|
||||
## 前置条件
|
||||
|
||||
### 安装 CLI
|
||||
|
||||
```bash
|
||||
curl -fsSL https://jimeng.jianying.com/cli | bash
|
||||
```
|
||||
|
||||
### 登录
|
||||
|
||||
```bash
|
||||
dreamina login
|
||||
```
|
||||
|
||||
若登录出错,可用 `--debug` 重试:
|
||||
|
||||
```bash
|
||||
dreamina login --debug
|
||||
```
|
||||
|
||||
登录状态存储于 `~/.dreamina_cli/`,优先复用已有登录状态。
|
||||
|
||||
## 核心命令
|
||||
|
||||
**关键原则:实际执行前必须先用 `-h` 查看子命令的具体参数**,不同命令支持的模型、比例、时长、分辨率可能不同。
|
||||
|
||||
### 1. 查询额度
|
||||
|
||||
```bash
|
||||
dreamina user_credit
|
||||
```
|
||||
|
||||
### 2. 文生图(text2image)
|
||||
|
||||
```bash
|
||||
dreamina text2image -h
|
||||
dreamina text2image --prompt "<描述词>" [其他参数]
|
||||
```
|
||||
|
||||
### 3. 图生图(image2image)
|
||||
|
||||
```bash
|
||||
dreamina image2image -h
|
||||
dreamina image2image --image "<图片路径>" --prompt "<描述词>" [其他参数]
|
||||
```
|
||||
|
||||
### 4. 文生视频(text2video)
|
||||
|
||||
```bash
|
||||
dreamina text2video -h
|
||||
dreamina text2video --prompt "<描述词>" [其他参数]
|
||||
```
|
||||
|
||||
### 5. 图生视频(image2video)
|
||||
|
||||
```bash
|
||||
dreamina image2video -h
|
||||
dreamina image2video --image "<图片路径>" [其他参数]
|
||||
```
|
||||
|
||||
适用场景:基于单张图片生成动态视频(如让静态图动起来)。注意:分辨率继承输入图片比例,不支持 `--ratio` 参数。
|
||||
|
||||
### 6. 多图生视频(multiframe2video)
|
||||
|
||||
```bash
|
||||
dreamina multiframe2video -h
|
||||
dreamina multiframe2video --images "<图1>" "<图2>" ... [其他参数]
|
||||
```
|
||||
|
||||
适用场景:多张图片串联成连贯故事视频(智能多帧流)。不支持模型选择。
|
||||
|
||||
### 7. 多模态生视频(multimodal2video)
|
||||
|
||||
```bash
|
||||
dreamina multimodal2video -h
|
||||
dreamina multimodal2video --prompt "<描述词>" [--image "<图>"] [--video "<视频>"] [--audio "<音频>"] [其他参数]
|
||||
```
|
||||
|
||||
适用场景:旗舰视频模式,支持图片、视频、音频等多模态参考输入。支持 `--ratio` 参数控制输出比例,Pro 版额外支持 1080p。
|
||||
|
||||
### 8. 查询异步任务结果(query_result)
|
||||
|
||||
```bash
|
||||
dreamina query_result --submit_id <任务ID>
|
||||
```
|
||||
|
||||
### 9. 查看历史任务(list_task)
|
||||
|
||||
```bash
|
||||
dreamina list_task -h
|
||||
dreamina list_task [过滤参数]
|
||||
```
|
||||
|
||||
## 工作会话(Session)
|
||||
|
||||
```bash
|
||||
dreamina session -h
|
||||
dreamina session list
|
||||
dreamina session create "<名称>"
|
||||
dreamina session use <ID>
|
||||
```
|
||||
|
||||
## 标准工作流程
|
||||
|
||||
### 步骤 1:确认需求
|
||||
|
||||
根据 `$ARGUMENTS` 判断生成类型:
|
||||
|
||||
| 用户说 | 对应命令 |
|
||||
|--------|---------|
|
||||
| "生成一张...图片"、"画一个..." | `text2image` |
|
||||
| "把这张图变成...风格"、"基于这张图生成..." | `image2image` |
|
||||
| "生成一段...视频"、"做一个...动画" | `text2video` |
|
||||
| "让这张图动起来"、"这张图生成视频" | `image2video` |
|
||||
| "用这几张图做一个故事视频" | `multiframe2video` |
|
||||
| 同时提供图片+视频+音频参考 | `multimodal2video` |
|
||||
|
||||
### 步骤 2:查看命令帮助
|
||||
|
||||
```bash
|
||||
dreamina <子命令> -h
|
||||
```
|
||||
|
||||
### 步骤 3:检查额度
|
||||
|
||||
```bash
|
||||
dreamina user_credit
|
||||
```
|
||||
|
||||
### 步骤 4:提交生成任务
|
||||
|
||||
- **明确告知用户**即将消耗额度
|
||||
- **小批量**执行,每次提交少量任务便于审查
|
||||
- **记录**每次测试的命令、参数、`submit_id`、最终状态
|
||||
|
||||
### 步骤 5:轮询结果
|
||||
|
||||
```bash
|
||||
dreamina query_result --submit_id <ID>
|
||||
```
|
||||
|
||||
- `gen_status` 为 `querying` → 保存 `submit_id`,稍后查询
|
||||
- `gen_status` 为 `success` → 获取结果
|
||||
- `gen_status` 为 `fail` → 查看 `fail_reason`,告知用户具体原因
|
||||
|
||||
### 步骤 6:下载结果到本地
|
||||
|
||||
下载到 `知识/金鹏/20260605/`。
|
||||
|
||||
**命名格式**:`yyyyMMdd_00n.<扩展名>`
|
||||
|
||||
- `yyyyMMdd`:当前日期
|
||||
- `00n`:图片序号,001, 002, ...
|
||||
- `<扩展名>`:图片 `.png`,视频 `.mp4`
|
||||
|
||||
示例:
|
||||
- `20260605_001.png`
|
||||
- `20260605_002.png`
|
||||
- `20260605_003.mp4`
|
||||
|
||||
```bash
|
||||
mkdir -p 知识/金鹏/20260605
|
||||
curl -o "知识/金鹏/20260605/20260605-001.png" "<image_url>"
|
||||
```
|
||||
|
||||
### 步骤 7:输出结果
|
||||
|
||||
向用户展示:
|
||||
- 生成的图片/视频本地路径
|
||||
- 使用的命令和参数
|
||||
- `submit_id`(便于后续追溯)
|
||||
|
||||
## 账户与模型
|
||||
|
||||
### 账户信息
|
||||
|
||||
- **VIP 等级**:maestro(大师级,最高等级)
|
||||
- 大部分图片模型(3.0/3.1/4.0/4.6/5.0)免费,仅 4.1(2 积分)和 4.5(4 积分)消耗积分
|
||||
- 生成前用 `dreamina user_credit` 确认余额
|
||||
|
||||
### 模型选择规则
|
||||
|
||||
本账号为 VIP maestro,**所有生成始终使用最高质量模型**:
|
||||
|
||||
| 命令 | 默认模型 | 备选 |
|
||||
|------|---------|------|
|
||||
| **text2image** / **image2image** | `5.0`(最新 4K,免费) | `4.6` |
|
||||
| **text2video** | `seedance2.0_vip`(70 积分) | `seedance2.0fast_vip` |
|
||||
| **image2video** / **multimodal2video** | `seedance2.0fast_vip`(55 积分) | `seedance2.0_vip`(追求极致或需 1080p 时) |
|
||||
|
||||
关键约束:
|
||||
- **非 VIP 模型不可用**:`seedance2.0` 排队 33 万+,`seedance2.0fast` 频繁触发并发限制
|
||||
- 所有模型生成文字时均可能出现拼写错误,海报类需求需后期修图
|
||||
- 首次使用前通过 `-h` 确认模型列表是否有更新
|
||||
|
||||
> 详细模型对比测试数据与场景推荐矩阵见 `.claude/memory/dreamina.md`
|
||||
|
||||
## 常见问题
|
||||
|
||||
### AIGC 合规确认
|
||||
|
||||
返回 `AigcComplianceConfirmationRequired` 时,需先在即梦 Web 端完成合规确认后重试。
|
||||
|
||||
### 排队 / 并发限制
|
||||
|
||||
通过 `query_result` 持续轮询,或更新 CLI:
|
||||
|
||||
```bash
|
||||
curl -fsSL https://jimeng.jianying.com/cli | bash
|
||||
```
|
||||
|
||||
### 日志排查
|
||||
|
||||
日志位于 `~/.dreamina_cli/logs/`。
|
||||
|
||||
## 注意事项
|
||||
|
||||
1. **区分只读和付费操作**:`user_credit`、`query_result`、`list_task`、`-h` 只读;生成命令消耗额度
|
||||
2. **异步等待**:图片和视频生成是异步的,提交和查询分开执行
|
||||
3. **不同命令参数不通用**:不要假设某命令的模型、比例、时长、分辨率适用于其他命令
|
||||
4. **帮助优先**:不确定参数时,始终先用 `-h` 查看
|
||||
|
||||
## 执行后复盘
|
||||
|
||||
每次执行本命令后,必须完成以下步骤:
|
||||
|
||||
### 1. 分析执行过程
|
||||
|
||||
分析本次执行过程的优点和缺点:
|
||||
|
||||
- **优点**:哪些步骤/设计执行顺畅、达到预期效果?
|
||||
- **缺点**:哪些步骤/设计存在问题或可改进之处?
|
||||
|
||||
### 2. 评估是否需要更新命令
|
||||
|
||||
基于上述分析,判断当前命令是否需要更新。如果执行顺利无问题,注明"当前命令无需更新"。
|
||||
|
||||
### 3. 如需更新,提出建议并由人类确认
|
||||
|
||||
如果发现需要改进的地方,给出具体的更新方案(修改内容、位置、原因),由人类用户确认后再执行对命令文件的修改。
|
||||
|
||||
> **原则**:可改可不改的不改;只提出对执行质量有实质影响的更新建议。
|
||||
@@ -0,0 +1,170 @@
|
||||
---
|
||||
name: dreamina-model-reference
|
||||
description: 即梦(Dreamina)各模型对比测试数据与场景推荐参考,从 arno-dreamina 命令文件精简时移出
|
||||
metadata:
|
||||
type: reference
|
||||
---
|
||||
|
||||
# 即梦(Dreamina)模型对比测试参考数据
|
||||
|
||||
> 测试日期:2026-05-29 | 账号等级:maestro(大师级 VIP)
|
||||
|
||||
## 各命令支持的模型
|
||||
|
||||
| 命令 | 可选 model_version | 默认模型 |
|
||||
|------|-------------------|---------|
|
||||
| **text2image** | `3.0`, `3.1`, `4.0`, `4.1`, `4.5`, `4.6`, `5.0` | 省略时为默认 |
|
||||
| **image2image** | `4.0`, `4.1`, `4.5`, `4.6`, `5.0` | 省略时为默认 |
|
||||
| **text2video** | `seedance2.0`, `seedance2.0fast`, `seedance2.0_vip`, `seedance2.0fast_vip` | `seedance2.0fast` |
|
||||
| **image2video** | `3.0`, `3.0fast`, `3.0pro`, `3.5pro`, `seedance2.0`, `seedance2.0fast`, `seedance2.0_vip`, `seedance2.0fast_vip` | 省略时为默认 |
|
||||
| **multimodal2video** | `seedance2.0`, `seedance2.0fast`, `seedance2.0_vip`, `seedance2.0fast_vip` | 省略时为默认 |
|
||||
| **multiframe2video** | 不支持选择模型 | — |
|
||||
| **smart_reference** | 命令当前不可用 | — |
|
||||
|
||||
## 模型分辨率与额度
|
||||
|
||||
| 模型 | 分辨率 | 输出数量 | maestro 额度消耗 |
|
||||
|------|--------|---------|-----------------|
|
||||
| 3.0 | 2048×2048(2K) | 4 张 | 免费 |
|
||||
| 3.1 | 2048×2048(2K) | 4 张 | 免费 |
|
||||
| 4.0 | 4096×4096(4K) | 1 张 | 免费 |
|
||||
| 4.1 | 4096×4096(4K) | 1 张 | 2 积分 |
|
||||
| 4.5 | 4096×4096(4K) | 1 张 | 4 积分 |
|
||||
| 4.6 | 4096×4096(4K) | 1 张 | 免费 |
|
||||
| 5.0 | 4096×4096(4K) | 1 张 | 免费 |
|
||||
|
||||
## 文生图(text2image)模型对比
|
||||
|
||||
**测试提示词**:`Professional medical technology promotional poster, a surgeon wearing AR glasses analyzing patient data holograms, blue and white color scheme, clean modern design, 8K quality`
|
||||
|
||||
| 模型 | 内部队列名 | 画质评价 | 主要特点 |
|
||||
|------|-----------|---------|---------|
|
||||
| 3.0 | `high_aes_general_v30_18b_fangzhou` | ⭐⭐⭐ | 2K 分辨率,构图清晰,色彩协调,文字拼写易出错 |
|
||||
| 3.1 | `high_aes_general_v30l_art_fangzhou_v2` | ⭐⭐⭐ | 2K 分辨率,虚拟界面细节好,悬浮感稍生硬 |
|
||||
| 4.0 | `high_aes_general_v40s` | ⭐⭐⭐⭐ | 4K 分辨率,细节显著提升 |
|
||||
| 4.1 | `high_aes_general_v41` | ⭐⭐⭐⭐ | 4K,构图层次分明,综合表现均衡 |
|
||||
| 4.5 | `high_aes_general_v40l` | ⭐⭐⭐⭐½ | 4K,骨骼/手套/金属质感最佳,消耗 4 积分 |
|
||||
| **4.6** | `high_aes_general_v42` | ⭐⭐⭐⭐⭐ | **4K,光影层次最丰富,AR 眼镜等细节最细腻,科技感最强** |
|
||||
| 5.0 | `high_aes_general_v50` | ⭐⭐⭐⭐ | 4K,全息屏发光效果出色,文字拼写易出错 |
|
||||
|
||||
**共性缺陷**:所有模型在生成文字时均会出现拼写错误或乱码,海报类需求需后期修图。
|
||||
|
||||
## 文生视频(text2video)模型对比
|
||||
|
||||
**测试提示词**:`一只金毛犬在阳光明媚的草地上奔跑,慢动作,电影级画质,花瓣随风飘落,金色的阳光透过树叶洒下光斑`
|
||||
**测试参数**:duration=5s, ratio=16:9, video_resolution=720p(默认)
|
||||
|
||||
| 模型 | 内部队列名 | 额度消耗 | 状态 | 画质评价 |
|
||||
|------|-----------|---------|------|---------|
|
||||
| **seedance2.0_vip** | `dreamina_fusion_video40_pro_vision` | 70 积分 | ✅ 完成 | ⭐⭐⭐⭐⭐ |
|
||||
| **seedance2.0fast_vip** | `dreamina_fusion_video40_vision` | 55 积分 | ✅ 完成 | ⭐⭐⭐⭐ |
|
||||
| seedance2.0 | 非 VIP 队列 | 15 积分 | ❌ 排队 33 万+ | — |
|
||||
| seedance2.0fast | 非 VIP 队列 | — | ❌ 并发限制(重试 4 次均失败) | — |
|
||||
|
||||
**结论**:非 VIP 模型容量严重受限,实际不可用;实际可用的只有 `seedance2.0_vip` 和 `seedance2.0fast_vip`。
|
||||
|
||||
### seedance2.0_vip vs seedance2.0fast_vip 详细对比(文生视频)
|
||||
|
||||
| 维度 | seedance2.0_vip (Pro) | seedance2.0fast_vip (Fast) |
|
||||
|------|----------------------|---------------------------|
|
||||
| **画面清晰度** | ⭐⭐⭐⭐⭐ 毛发根根分明,边缘锐利,画面通透立体 | ⭐⭐⭐⭐ 细节保留尚可,边缘锐度不足,画面偏"平" |
|
||||
| **运动流畅度** | ⭐⭐⭐⭐⭐ 运动轨迹精准,慢动作丝滑,符合生物力学 | ⭐⭐⭐⭐ 整体流畅,部分动作过渡略有卡顿 |
|
||||
| **光影层次** | ⭐⭐⭐⭐⭐ 阴影渐变柔和,高光自然,丁达尔效应出色 | ⭐⭐⭐⭐ 光影基本自然,阴影边缘偏生硬,高光偶有过曝 |
|
||||
| **色彩表现** | ⭐⭐⭐⭐⭐ 层次丰富(草地深绿/浅绿分明,花瓣粉中带紫) | ⭐⭐⭐⭐ 暖色调协调,但色彩层次不够丰富 |
|
||||
| **物理合理性** | ⭐⭐⭐⭐⭐ 肌肉线条明显,花瓣飘落随机自然,草叶细节丰富 | ⭐⭐⭐⭐ 基本合理,花瓣轨迹较单一,肌肉感稍弱 |
|
||||
| **电影感** | ⭐⭐⭐⭐⭐ 景深渐进虚化,画面层次感强,专业影视级 | ⭐⭐⭐⭐ 构图合理氛围到位,更像"高质量图片序列" |
|
||||
| **生成速度** | 较慢(约 90s) | 较快(约 60s) |
|
||||
| **文件大小** | 4.3 MB | 4.2 MB |
|
||||
| **技术参数** | 1280×720, 24fps, 5.042s, MP4 | 1280×720, 24fps, 5.042s, MP4 |
|
||||
|
||||
**关键发现**:
|
||||
1. Pro 版是"电影级",Fast 版是"够用级"
|
||||
2. 非 VIP 模型实际不可用(排队 33 万+ / 并发限制)
|
||||
3. 视频时长固定约 5s,帧率统一 24fps
|
||||
|
||||
## 图生视频(image2video)模型对比
|
||||
|
||||
**输入图片**:4096×4096(text2image 4.6 模型生成)
|
||||
**运动提示词**:`camera slowly pushes in, surgeon's AR glasses flickering with blue data streams, holographic patient data rotating gently in the air`
|
||||
**测试参数**:duration=5s, video_resolution=720p
|
||||
**注**:图生视频分辨率继承输入图片比例(1:1 → 960×960),不可通过参数调整
|
||||
|
||||
| 模型 | 内部队列名 | 额度消耗 | 输出分辨率 | 状态 |
|
||||
|------|-----------|---------|-----------|------|
|
||||
| **seedance2.0_vip** | `dreamina_fusion_video40_pro_vision` (i2v) | 70 积分 | 960×960 | ✅ 完成 |
|
||||
| **seedance2.0fast_vip** | `dreamina_fusion_video40_vision` (i2v) | 55 积分 | 960×960 | ✅ 完成 |
|
||||
|
||||
### seedance2.0_vip vs seedance2.0fast_vip 详细对比(图生视频)
|
||||
|
||||
| 维度 | seedance2.0_vip (Pro) | seedance2.0fast_vip (Fast) |
|
||||
|------|----------------------|---------------------------|
|
||||
| **原图忠实度** | ⭐⭐⭐⭐⭐ 像素级还原,AR 眼镜、全息骨骼、手术服细节完全保持 | ⭐⭐⭐⭐⭐ 高度还原,无明显变形,与 Pro 版基本持平 |
|
||||
| **运动自然度** | ⭐⭐⭐⭐⭐ 全息旋转平滑(角度精准),镜头推进曲线符合物理规律 | ⭐⭐⭐⭐ 旋转/数据流尚可,但动态层次较"简洁",运动幅度更克制 |
|
||||
| **画面稳定性** | ⭐⭐⭐⭐⭐ 无闪烁/抖动/撕裂,帧间过渡无缝 | ⭐⭐⭐⭐⭐ 同样优秀,稳定性与 Pro 版一致 |
|
||||
| **新增细节质量** | ⭐⭐⭐⭐⭐ 主动添加数据标签弹出、骨骼高亮、动态光影反射 | ⭐⭐⭐⭐ 新增元素更克制(仅基础旋转+数据流),未过度添加 |
|
||||
| **光影一致性** | ⭐⭐⭐⭐⭐ 全息蓝光在人物面部动态反射,阴影随运动自然变化 | ⭐⭐⭐⭐ 光影过渡偏"平",层次感不如 Pro 版丰富 |
|
||||
| **生成速度** | 较慢(约 180s) | 较快(约 120s) |
|
||||
| **文件大小** | 4.2 MB | 4.2 MB |
|
||||
| **技术参数** | 960×960, 24fps, 5.042s, MP4 | 960×960, 24fps, 5.042s, MP4 |
|
||||
|
||||
**关键发现**:
|
||||
1. i2v 的 Pro/Fast 差异小于 t2v:原图忠实度和画面稳定性两者几乎持平
|
||||
2. Pro 版"锦上添花"(主动添加更多动态细节),Fast 版"恰到好处"(更克制,不易出现违和感)
|
||||
3. 分辨率继承输入图比例,i2v 不提供 `--ratio` 参数
|
||||
4. 生成速度约为 t2v 的 2 倍(需额外处理输入图片特征提取和融合)
|
||||
|
||||
## 多模态生视频(multimodal2video)模型对比
|
||||
|
||||
**输入图片**:4096×4096(text2image 4.6 模型生成)
|
||||
**提示词**:`Camera slowly zooms into the surgeon's AR glasses, holographic data panels float and rotate in the air, blue light particles drift through the scene, cinematic quality, 4K`
|
||||
**测试参数**:duration=5s, ratio=16:9, video_resolution=720p
|
||||
|
||||
| 模型 | 内部队列名 | req_key | 额度消耗 | 状态 | 画质评价 |
|
||||
|------|-----------|---------|---------|------|---------|
|
||||
| **seedance2.0_vip** | `dreamina_fusion_video40_pro_vision` | `...Pro_Vision_unified_edit_720p` | 70 积分 | ✅ 完成 | ⭐⭐⭐⭐⭐ |
|
||||
| **seedance2.0fast_vip** | `dreamina_fusion_video40_vision` | `...Vision_unified_edit_720p` | 55 积分 | ✅ 完成 | ⭐⭐⭐⭐½ |
|
||||
|
||||
### seedance2.0_vip vs seedance2.0fast_vip 详细对比(多模态生视频)
|
||||
|
||||
| 维度 | seedance2.0_vip (Pro) | seedance2.0fast_vip (Fast) |
|
||||
|------|----------------------|---------------------------|
|
||||
| **画面清晰度** | ⭐⭐⭐⭐⭐ 细节锐利,AR 眼镜反射面/全息骨骼/数据面板高保真 | ⭐⭐⭐⭐⭐ 同样出色,细节清晰锐利,皮肤/衣物/设备质感丰富 |
|
||||
| **运动流畅度** | ⭐⭐⭐⭐⭐ 镜头推进流畅,全息元素旋转/浮动自然,无抖动 | ⭐⭐⭐⭐⭐ 镜头 dolly-in 平稳精准,运动节奏感好,无抖动/跳帧 |
|
||||
| **光影层次** | ⭐⭐⭐⭐⭐ 全息蓝光在人物面部产生动态反射,阴影随运动自然变化 | ⭐⭐⭐⭐⭐ 光影渲染出色,全息元素发出柔和蓝光并照亮周围 |
|
||||
| **色彩表现** | ⭐⭐⭐⭐⭐ 冷色调蓝白和谐,全息渐变平滑无色带 | ⭐⭐⭐⭐⭐ 色彩深度丰富,渐变平滑无色带,冷暖平衡 |
|
||||
| **全息元素真实感** | ⭐⭐⭐⭐½ 浮空感/透明发光质感好,缺少真实光折射 | ⭐⭐⭐⭐ 发光/微光效果真实,缺少与环境的物理交互阴影 |
|
||||
| **新增动态细节** | ⭐⭐⭐⭐⭐ 主动添加数据标签弹出、骨骼高亮、蓝色粒子流等 | ⭐⭐⭐⭐ 动态元素更克制,仅基础旋转+光粒子 |
|
||||
| **电影感** | ⭐⭐⭐⭐⭐ 构图、推进、光影配合形成专业影视级效果 | ⭐⭐⭐⭐⭐ 高质量科幻广告级效果,画面纯净专业 |
|
||||
| **生成速度** | ~4.5 分钟(273s) | ~10 分钟(596s)⚠️ 异常偏慢 |
|
||||
| **文件大小** | 4.2 MB | 4.2 MB |
|
||||
| **技术参数** | 1280×720, 24fps, 5.042s, MP4 | 1280×720, 24fps, 5.042s, MP4 |
|
||||
|
||||
**关键发现**:
|
||||
1. multimodal2video 的 Pro/Fast 画质差异远小于 text2video:有参考图片作为"锚点",两个模型差距显著缩小
|
||||
2. 生成速度出现反转:本次测试中 Fast 版(~10分钟)反而比 Pro 版(~4.5分钟)慢约 2 倍,可能与服务器负载有关,不代表固定规律
|
||||
3. multimodal2video 使用独立的多模态融合管线(req_key 包含 `_unified_edit_`)
|
||||
4. 支持 `--ratio` 参数(1:1/3:4/16:9/4:3/9:16/21:9),输出比例不受输入图约束
|
||||
5. seedance2.0_vip 额外支持 1080p(`--video_resolution=1080p`),Fast 版仅支持 720p
|
||||
6. 两个模型均无可见瑕疵:无闪烁/撕裂/压缩伪影/运动模糊异常
|
||||
|
||||
## 场景推荐矩阵
|
||||
|
||||
### 视频生成场景选择
|
||||
|
||||
| 场景 | 推荐命令+模型 | 理由 |
|
||||
|------|-------------|------|
|
||||
| 纯文字描述生成视频 | `text2video` + `seedance2.0_vip` | 无参考图时 Pro 版画质优势明显 |
|
||||
| 让静态图动起来(简单动画) | `image2video` + `seedance2.0fast_vip` | 速度快,动态克制不易出错,55 积分够用 |
|
||||
| 图片+详细运动指令生成视频 | `multimodal2video` + `seedance2.0fast_vip` | 有参考图时画质差距小,Fast 版 55 积分性价比高 |
|
||||
| 广告/影视级多模态视频 | `multimodal2video` + `seedance2.0_vip` + `1080p` | 最高画质+最高分辨率,适合最终交付 |
|
||||
| 图片+音频/视频参考融合 | `multimodal2video` + `seedance2.0_vip` | 多参考源融合时 Pro 版细节处理更好 |
|
||||
|
||||
### 图生视频 vs 多模态生视频 选择
|
||||
|
||||
| 场景 | 推荐 | 理由 |
|
||||
|------|------|------|
|
||||
| 简单镜头推进/拉远 | `image2video` + `seedance2.0fast_vip` | 够用且快 |
|
||||
| 需要控制输出比例(16:9 等) | `multimodal2video` | i2v 不支持 ratio 参数 |
|
||||
| 复杂运动描述 | `multimodal2video` + `seedance2.0_vip` | 运动指令跟随更好 |
|
||||
| 需要 1080p 输出 | `multimodal2video` + `seedance2.0_vip` | 仅有此组合支持 |
|
||||
| 快速原型/概念验证 | `image2video` + `seedance2.0fast_vip` | 55 积分,120s 出结果 |
|
||||
@@ -13,6 +13,30 @@
|
||||
- 360 x 276
|
||||
- 540 x 414
|
||||
|
||||
## 2026-06-05
|
||||
|
||||
- [AI+业务](https://mp.weixin.qq.com/s/7tRYSeUzZajk6sW8a6Idgg)
|
||||
- 
|
||||
- 从工程框架到普惠落地与记忆基础设施
|
||||
- 赋能层: [业务赋能:让最懂业务的人造AI应用](https://mp.weixin.qq.com/s/7tRYSeUzZajk6sW8a6Idgg)
|
||||
- 飞桨PaddlePaddle(百度AI)
|
||||
- 驾驭AI的普惠实践:**将AI开发能力从工程师下放给一线业务人员**——与组织层(大型企业AI转型顶层架构)形成互补:组织层解决"企业怎么设计AI架构",赋能层回答"谁来做AI应用"
|
||||
- 百度AI联合广东省中小企业发展促进会发起"AI创新实验室"项目,核心理念:**不招"AI大厨",自己"学做AI家常菜"**——让业务人员用自然语言写出可运行的AI应用
|
||||
- 三步闭环:技术体检(深入企业找真正值得做的场景)→ 实战培训(四天实战营,零基础学员做出可运行智能体)→ 应用陪跑(持续迭代,从"等外部开发"走向"内部持续优化")
|
||||
- 昭信集团:50名非编程背景员工,研发辅助智能体使零件设计时间缩短50%,设备运维智能体使故障处理时间减少30%,**老师傅的经验成功沉淀在数据库中不再流失**
|
||||
- 千江集团:2名IT人员的企业,00后销售自建显微镜智能助手,方案生成从1天压缩至33分钟,效率提升93%
|
||||
- 安广电子:遥控器芯片代码迁移从3-5天压缩到3小时,**业务人员成为企业的"AI专家"**
|
||||
- **AI转型并不一定从招AI工程师开始——当最懂业务的人掌握AI工具,AI就从外部能力长成企业自己的内生动力**
|
||||
- 记忆层: [记忆演化:Hy-Memory的Agent第二大脑](https://mp.weixin.qq.com/s/dH5PGpxqArFZkSq3-QxWYA)
|
||||
- 腾讯混元
|
||||
- 驾驭AI的记忆基础设施:**让Agent在长期协作中"记得住、记得对、记得轻、更懂你"**——流程层的Skills解决了"AI会做什么",记忆层解决"AI记得什么",两者共同构成Agent的长期可用性
|
||||
- Agent用户"三周轨迹":蜜月期→不安(Agent开始遗忘)→降级使用(从"思考伙伴"退化为"查询工具"),**问题不在模型能力,在于长期记忆缺失**
|
||||
- 三层核心底牌:①6层记忆框架(事实/画像/摘要/心智模型/知识网络/意图)分层检索;②System1/System2双系统——白班实时写入+夜班深度认知,**既保障速度又具备认知迭代**;③演化链——supersedes指针串联记忆演变,旧版本不丢、因果可追溯
|
||||
- LongMemEval得分85.2,远超同类框架;记忆条数只有mem0的1/3,信息密度高45%+,Token消耗降低35%
|
||||
- **模型能力决定Agent能做什么,记忆系统决定Agent能陪你走多远**——长期协作场景下,记忆不是附属品,而是核心基础设施
|
||||
- [Hy-Memory 官网](https://memory.hunyuan.tencent.com/) [使用文档](https://memory.hunyuan.tencent.com/openclaw/)
|
||||
- 
|
||||
|
||||
## 2026-05-29
|
||||
|
||||
- [驾驭AI](https://mp.weixin.qq.com/s/TB6RvHG6LbuPcC7idiDV7g)
|
||||
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 122 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 10 MiB |
Reference in New Issue
Block a user