解析估算,非实测 benchmark。用于比较计算量与并行趋势;默认参数未经硬件校准,未检查峰值显存或生成质量。
当前配置的估算时间分解
只改 GPU 数:扩展曲线
每一行是同一配置在不同 GPU 数下的端到端时间(同一刻度),右侧是总时间和扩展效率(1 卡时间 ÷ (G × G 卡时间))。虚线以下的配置,sequence
parallel 组跨出了一台 8 卡机器。
只改步数:各部分的占比怎么变
每一行是同一配置在不同步数下的估算时间占比(100% 堆叠),右侧是总时间。仅改变调用次数,不表示这些设置有相同画质,也不等同于少步蒸馏。
数据表
模型假设
-
token 数 = 潜空间帧数 × (H / s / 2) × (W / s / 2),帧数 = 时长 × 所选 fps + 1,潜空间帧数 = 1 + (帧数 − 1) /
4。时长按首尾帧时间间隔估算;s 为 VAE 空间压缩倍数(Wan2.1 为 8,Wan2.2 5B 为 16),patch 为 1×2×2。
-
每次前向 FLOPs ≈ 2·L·n·(4d² + 2d·d_ff)(self-attention 投影与 FFN)+ 4·L·n²·d·k(self-attention,k 为保留比例),与正文公式一致。忽略
cross-attention、modulation、norm 等部分;不是完整模型 FLOPs。
-
DiT 计算时间 = FLOPs / (SP 并行度 × 峰值 × MFU)。各类计算共用固定 MFU,没有建模小块效率下降或各 kernel
的吞吐差异;这是简化趋势模型,不能保证预测误差的方向。
- 稀疏计算按保留比例理想缩放,不计模式选择、索引与不规则访存;通信仍传完整 K/V。没有计算画质或训练成本。
- CFG parallel:开 CFG 且 GPU 数 ≥ 2 时,两次前向分给两组卡,每组的 SP 并行度为 G / 2,合并结果的通信忽略不计。
- 每台机器 8 张卡。SP 组不超过 8 张卡时走机内带宽,否则受跨机带宽限制。
-
Ulysses:每层按 Q、K、V、O 四份张量统计,每卡发送 8·(n/G)·d·(u−1)/u 字节,不与计算重叠;QKV 可融合通信,并行度 u 必须整除 head
数。带宽使用与发送量对应的有效口径。
- Ring:每层 R−1 步,每步传 4·(n/G)·d 字节的 K/V,与本步的块 attention 重叠,只计算超出计算时间的部分。
- USP:Ulysses 并行度取不超过 8、且同时整除 head 数和 SP 并行度的最大值,其余用 Ring。
- VAE 时间按像素数线性缩放;默认不随 GPU 数并行。打开 VAE 并行时按理想线性加速估算。text encoder 为固定值。
-
忽略 collective 启动、序列 padding、权重加载、输出搬运和视频编码。Ulysses 的可行性提示只检查 head 整除,不检查显存、模型支持的生成配置或
kernel 限制。
- 预设的层数、隐藏维度、head 数来自公开配置,默认的 MFU、带宽、VAE 数值是占位,未经实测校准。