JoyAI-Echo generated video gallery

JoyAI-Echo 1.5

🎬 面向持续故事与交互世界的长时程视听生成

📄 论文 | 🌐 项目主页 | 💻 推理代码 | 🎬 Director Agent

Reference-to-Video Audio + Video 8-step DMD BF16, FP8 and FP4

模型概览

JoyAI-Echo 1.5 是面向持续故事与交互世界的统一视听生成系统。本仓库包含长视频模型权重。其参考生视频流程可接收文本提示、可选的首帧条件，以及最多七个有序记忆槽位，其中包含参考图像和音频。

配对的跨模态记忆库可在独立可编辑镜头之间保持角色外观、音色身份和场景上下文。该版本使用基于 LTX-2.3 的 8 步 DMD 生成器，并通过统一推理流程提供 BF16、FP8 和 FP4 变体。

亮点

🎞️ 参考驱动的多镜头生成： 每个镜头可使用文本、一个首帧以及最多七个记忆槽位。
🔊 音视频联合生成： 在统一流程中生成同步的视频与音频。
🧠 配对跨模态记忆： 复用前序镜头中的外观、声音与场景信息。
⚡ 少步推理： 使用 8 步 DMD 采样器生成每个镜头。
💻 消费级 GPU 配置： 推理仓库支持逐层 DiT 卸载与分块 Video VAE 解码。

已发布的检查点

目录	精度	大小	内容
`echo15_full_dmd/`	BF16	46.14 GB	`model.safetensors`
`echo15_fp8/`	FP8	27.62 GB	`model.safetensors`
`echo15_fp4/`	FP4	22.81 GB	`components.safetensors`, `transformer_modelopt.pt`

每个目录还包含一个 checkpoint.json 清单文件。SHA256SUMS 记录所有检查点文件的哈希值。

JoyAI-Echo 1.0 保留在 echo1.0 分支中。

用法

1. 下载一个检查点

# BF16
hf download jdopensource/JoyAI-Echo \
  --include "echo15_full_dmd/*" \
  --local-dir checkpoints

# FP8
hf download jdopensource/JoyAI-Echo \
  --include "echo15_fp8/*" \
  --local-dir checkpoints

# FP4
hf download jdopensource/JoyAI-Echo \
  --include "echo15_fp4/*" \
  --local-dir checkpoints

请单独下载 Gemma 文本编码器：

hf download google/gemma-3-12b-it \
  --local-dir checkpoints/gemma-3-12b

2. 获取推理代码

git clone https://github.com/jd-opensource/JoyAI-Echo.git
cd JoyAI-Echo/echo_longvideo

3. 运行批量推理

python inference.py --config configs/inference.bf16.yaml  # BF16
python inference.py --config configs/inference.fp8.yaml   # FP8
python inference.py --config configs/inference.fp4.yaml   # FP4

默认配置会处理 examples/the_last_visa/requests/ 中的 R2V 请求。请参阅推理仓库了解请求模式、条件缓存、低显存配置和本地服务器。

链接

项目主页：JoyAI-Echo 1.5
论文：Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
推理代码：echo_longvideo
Director Agent：Director_Agent

致谢

我们衷心感谢使本次发布成为可能的开源项目，尤其是 LTX-2.3、 Gemma 以及 MSST-WebUI。

引用

@article{duan2026joyaiecho15,
  title         = {Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds},
  author        = {Duan, Nan and Huang, Haoyang and Jin, Weiyang and Li, Haoran and Li, Yaowei and Li, Yuming and Liu, Yijun and Lu, Xin and Ma, Xiaoxiao and Ma, Yanwen and Su, Yaofeng and Sun, Yilang and Wang, Haoyu and Xue, Zeyue and Zhang, Songchun and Zhuang, Junhao},
  journal       = {arXiv preprint arXiv:2608.23383},
  year          = {2026},
  eprint        = {2608.23383},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2608.23383}
}

许可证

本项目基于 Lightricks Ltd. 开发的 LTX-2。