信息卡

一句话定位

阿里巴巴 PAI 团队为 MiniMax-H3 视频生成基座训练的 ControlNet-Union 单权重万能控制分支：一张 checkpoint 同时吃下 Canny、Depth、HED、MLSD、Pose 五类控制视频，外加视频修复（Inpainting）。

为什么上热度榜

PAI 的 VideoX-Fun 系列一直是开源可控视频生成的标杆，此次第一时间跟进 MiniMax-H3 新基座；用一个 Union 权重取代多张单条件分支大幅降低管理成本，再加上"引导蒸馏、每步只做一次前向、无需 CFG"的推理设计，让可控视频生成的速度和上手难度双降，社区快速扩散。

规格与技术亮点

• 分发体积仅约 6.8GB（控制分支 safetensors），叠加于 MiniMax-H3 基座 transformer（约 62GB）之上，挂载在第 0/10/20/30/40 共 5 个块。
• 通过零门控投影向主干注入 skip connection；guidance_scale 固定 1.0 即可直接推理。
• 支持 Inpainting：control_in_dim = 49（latent + 遮罩 latent + mask 通道）。
• 工程约束清晰：帧数满足 17×n+5、固定 24fps、单次最长约 15 秒、宽高取 32 的倍数并自动保持宽高比。
• control_context_scale 连续可调：1.0 最强控制，0.0 关闭条件。

使用方式与代码示例

克隆 VideoX-Fun 仓库，把 MiniMax-H3 基座与本 checkpoint 放入 `models/Diffusion_Transformer/`：

python examples/minimax_h3_fun/predict_v2v_control.py

Python 内指定 `model_name="models/Diffusion_Transformer/MiniMax-H3"`、`transformer_path=.../MiniMax-H3-Fun-Controlnet-Union.safetensors`、`control_video="your_video.mp4"`；config 必须匹配训练布局（control_blocks_places=[0,10,20,30,40]、control_in_dim=49），guidance_scale 保持 1.0。

部署建议（本地/云端/量化选择）

基座 transformer 加 Qwen3-VL 文本编码器合计远超单张 80GB 显存，须启用 `model_group_offload` 或 `model_cpu_offload_and_qfloat8` 半权重量化；云端首选 H100/A100 单卡起步，量产批处理建议多卡或 vRAM 富余机型。个人玩家建议先用官方示例脚本验证流程再接入自有流水线。

典型应用场景

• 舞蹈/武打视频的动作骨架（Pose）迁移；
• 线稿、草图分镜一键转实拍质感视频；
• 深度/边缘驱动的运镜控制与影视预演；
• 老视频人物擦除、遮挡区域重建修复。

同类对比

相比逐条件发布的多个 Fun-Control 单分支权重，Union 一步到位更省磁盘与配置工作量；相比 Wan 系开源 ControlNet，生态较新但条件类型覆盖更全，且控制强度连续可调。

资源导航

GitHub：aigc-apps/VideoX-Fun｜示例：examples/minimax_h3_fun/｜配置：config/minimax_h3/minimax_h3_control.yaml｜已被 2 个 Spaces 引用，月下载 3148 次。