Logo
Section 1 / 2

文本到视频生成系统的训练基础设施

学习设计、训练和评估类似 Mochi 1 和 SORA 的文生视频系统。

导入

文本到视频生成系统的训练基础设施

学习设计、训练和评估类似 Mochi 1 和 SORA 的文生视频系统。

...
文生视频系统示意图（来源：使用 Mochi 1 生成的 AI 视频）

表格

模型架构是否开源专长领域局限性
Open-SORATransformer + GAN（混合架构）✅通用视频生成计算资源需求较高
Mochi 1扩散模型 + VAE（混合架构）✅风格化视频生成不支持多样化的文本提示
SORATransformer + 扩散模型（混合架构）❌真实感强、细节丰富的视频训练与推理计算成本高；未公开发布
VideoGPTTransformer✅短视频合成帧分辨率和视频时长有限
Imagen Video扩散模型❌真实感强、细节丰富的视频未公开发布
Lumiere扩散模型❌照片级真实感视频未公开发布
...
Mochi 1 的训练架构
PageFlux AI 助手

👋 你好！我是 PageFlux AI 助手，专门帮助您理解课程内容。有什么问题尽管问我吧！

💡 选中文本后点击"AI 询问"，或 Ctrl+Enter 发送消息
...
所需数据集格式（来源：使用 Mochi 1 生成的 AI 内容）

总数据量 = 1000万条

预处理单个视频文件耗时 = 200 毫秒
预处理单条文本描述耗时 = 1 毫秒
向数据库存储一行数据耗时 = 2 毫秒

视频总预处理时间 (Tpv)(T_{pv}) = 单个视频预处理时间 × 总数据量
Tpv=200 ms×107=1,000,000 秒T_{pv} = 200 \, \text{ms} \times 10^7 = 1,000,000 \, \text{秒}

文本总预处理时间 (Tpt)(T_{pt}) = 单条文本预处理时间 × 总数据量
Tpt=1 ms×107=10,000 秒T_{pt} = 1 \, \text{ms} \times 10^7 = 10,000 \, \text{秒}

总存储时间 (Ts)(T_s) = 单行存储时间 × 总数据量
Ts=2 ms×107=20,000 秒T_s = 2 \, \text{ms} \times 10^7 = 20,000 \, \text{秒}

...
处理数据集并存入数据存储所耗时间
Tsec=Nparams×NFLOPS×E×D×CRops×NGPUsT_{\text{sec}} = \frac{N_{\text{params}} \times N_{\text{FLOPS}} \times E \times D \times C}{R_{\text{ops}} \times N_{\text{GPUs}}} A=Np (encoder)×2×D×EA = N_{\text{p (encoder)}} \times 2 \times D \times E Tsec=Nparams×NFLOPS×E×D×Nsteps+ARops×NGPUsT_{\text{sec}} = \frac{N_{\text{params}} \times N_{\text{FLOPS}} \times E \times D \times N_{\text{steps}} + A}{R_{\text{ops}} \times N_{\text{GPUs}}}
...
在冻结 T5-XXL 编码器的情况下训练 Mochi 1

...
模型训练架构与流程
1.

How can we adapt our system to take images as input and create an image-to-video model?

0/500

思考点

设计生成式AI系统的系统化框架

部署文本生成视频系统的系统设计