信息卡

一句话定位

蚂蚁研究团队的开源项目（榜单标注 SIGGRAPH Asia 2026）：把一段随手拍的单目人物视频变成多视角视频流，直接喂给 4D 高斯泼溅重建出"任意人的 4D 形象"。

走红原因分析

"一段手机视频 → 会动的 4D 数字人"是视觉社区十年来的圣杯级演示；本作由 Shen Yujun、Zhou Xiaowei、Xu Yinghao 等知名研究者参与（arXiv:2608.20335），代码随论文同步开源并给出多 GPU 实测数据，从发布起就自带传播素材，两周冲进榜单。

核心功能拆解

• Pipeline：输入单目人体视频 → GVHMR 运动恢复（作为 third_party 子模块集成，结果可复用）→ 扩散模型去噪生成多视角视频 → 下游 4DGS/3DGS 重建。
• 灵活视角配置：views_per_layer 控制"每层视角数"（须被 4 或 6 整除），layer_pitches 定义俯仰层，总视角 = 每层视角 × 层数。
• 预设配方：24 视角全轨道为 4DGS 重建推荐配置；48 视角三仰角层 `[-10,15,35]`；8 视角正面弧 `start_yaw -90, yaw_span 180`。
• 推理加速：运行时自动检测 FlashAttention-3 与 SageAttention 后端。
• 输出自带 metadata.json、cameras.json、骨架视频及 dense/sparse 目录，sparse 默认含 24 视角 RCP proposals。
• 首次运行自动下载 SMPL-X、模型权重与示例，也可手动执行 download_smplx/download_model/download_example 脚本。

架构与技术栈浅析

Python 3.11 + requirements.txt 环境；动捕与视频生成分离于 three_party 子模块设计；多 GPU 并行推理（gpu_ids 参数默认吃满可见 GPU）；配套 docs/inference_performance.md 给出 H20-3E、H200、RTX 5880 Ada、RTX A6000 四档卡的实测参考。

安装与环境要求

GPU 显存目前预期超过 32GB（Todo 中"低显存推理 <32GB"尚未完成）；输入建议 ≥720p（推荐 1080p）、9:16 竖屏、单人全身或半身、至少 121 帧、相机运动轻微。

快速上手示例

git clone https://github.com/ant-research/4DAnyone.git && cd 4DAnyone
git submodule update --init third_party/GVHMR
conda create -n 4danyone python=3.11 -y && pip install -r requirements.txt

python inference.py --video_path <你的视频> --views_per_layer 24   # 推荐 4DGS 配置
python inference.py --video_path demo.mp4 --views_per_layer 16 --layer_pitches '[-10,15,35]'

3DGS 重建流程见 docs/nerfstudio.md，输出结构见 docs/output.md。

进阶使用要点

yaw=0 为正脸方向，弧形运镜可组合 start_yaw/yaw_span 微调；wall-clock 性能对照表决定分卡策略；项目主页提供更多演示；README 未附许可证文件，商用前务必向仓库确认授权条款。

典型应用场景

• 单人舞蹈/运动视频转可环视的 4D 表演资产。
• 虚拟直播与数字人分身的低成本素材生产。
• 4DGS 研究的标准输入管线与性能基线复现。

同类生态位对比

对比文本驱动型数字人方案，本作坚持"真运动来源"，姿态真实感来自实拍而非模型幻觉；GVHMR 复用设计也区别于一end-to-end 视频扩散竞品，便于研究者在运动层做消融。

资源导航

主页 https://4danyone.github.io/ ；论文 https://arxiv.org/abs/2608.20335 ；仓库 https://github.com/ant-research/4DAnyone ；引用 BibTeX 见 README。