文本到图像生成系统的训练基础设施

文本到图像系统的快照（来源：使用 Imagen 3.0 AI生成）

生成对抗网络（GAN）

变分自编码器网络（VAE）

扩散模型的高层架构

表格

所需数据集格式（来源：使用 Imagen 3.0 AI生成）

总数据项 = 1000万

预处理单张图像所需时间 = 10 毫秒
预处理单条文本描述所需时间 = 1 毫秒
将图文对存储至数据库所需时间 = 1 毫秒

总图像处理时间（Tₚᵢ）= 单图预处理时间 × 总数据项
Tₚᵢ = 10 毫秒 × 1000万 = 100,000 秒 ≈ 28 小时

总文本处理时间（Tₚₜ）= 文本预处理时间 × 总数据项
Tₚₜ = 1 毫秒 × 1000万 = 10,000 秒 ≈ 2.5 小时

总存储时间（Tₛ）= 存储图文对时间 × 总数据项
Tₛ = 1 毫秒 × 1000万 = 10,000 秒 ≈ 2.5 小时

处理数据集所需时间

$$T_{\text{sec}} = \frac{N_{\text{params}} \times N_{\text{FLOPS}} \times E \times D \times C}{R_{\text{ops}} \times N_{\text{GPUs}}}$$ $$T_{\text{sec}} = \frac{N_{\text{params}} \times N_{\text{FLOPS}} \times E \times D \times N_{\text{steps}}}{R_{\text{ops}} \times N_{\text{GPUs}}}$$

$N_{\text{params}} = 8.1 \ \text{十亿}$
$N_{\text{FLOPS}} = 6$
$E = 1,000$
$D = 10 \ \text{百万}$
$N_{\text{steps}} = 1,000$
$R_{\text{ops}} = 989 \ \text{TFLOPS}$
$N_{\text{GPUs}} = 1$

$$T_{\text{seconds}} = \frac{8.1 \times 10^{9} \times 6 \times 1,000 \times 10 \times 10^{6} \times 1,000}{989 \times 10^{12} \ \text{FLOPS} \times 1}$$ $$T_{\text{seconds}} \approx 491,405,460 \ \text{秒}$$ $$T_{\text{days}} \approx 5688 \ \text{天}$$

我们有 X 台训练服务器
根据服务器池从中央数据库拆分数据
训练服务器之间相互拉取模型权重（P2P）
训练服务器对数据执行前向传播
每台服务器上计算损失梯度
每台服务器更新模型权重
服务器之间同步权重
各服务器接收新权重，开始下一轮迭代

模型训练架构与流程