文本到语音生成系统的训练基础设施

表格

思考点

总数据项数 = 200万

预处理单个音频文件耗时 = 100毫秒
预处理单条文本描述耗时 = 1毫秒
向数据库写入一行数据耗时 = 0.5毫秒

音频总预处理时间 $(T_{pa})$ = 单个音频预处理时间 × 总数据项数
$T_{pa} = 100 \text{ms} \times 2\text{M} = 200,000 \text{秒} \approx 56 \text{小时}$

文本总预处理时间 $(T_{pt})$ = 文本预处理时间 × 总数据项数
$T_{pt} = 1 \text{ms} \times 2\text{M} = 2,000 \text{秒} \approx 0.5 \text{小时}$

总存储时间 $(T_s)$ = 单行存储时间 × 总数据项数
$T_s = 0.5 \text{ms} \times 2\text{M} = 1,000 \text{秒} \approx 0.28 \text{小时}$

思考点

$$T_{\text{sec}} = \frac{N_{\text{params}} \times N_{\text{FLOPS}} \times E \times D \times C}{R_{\text{ops}} \times N_{\text{GPUs}}}$$ $$T_{\text{sec}} = \frac{N_{\text{params}} \times N_{\text{FLOPS}} \times E \times D \times N_{\text{steps}}}{R_{\text{ops}} \times N_{\text{GPUs}}}$$ $$N_{\text{steps}} = L_{\text{audio}} \times I_{\text{sec}}$$ $$N_{\text{steps}} = 10 \times 100 = 1,000$$

其中：
$N_{\text{params}} = 1 \ \text{Billion}$（10亿）
$N_{\text{FLOPS}} = 6$（每参数每次迭代的浮点运算数）
$E = 1,000$（训练轮数）
$D = 2 \ \text{Million}$（数据总量，200万条）
$N_{\text{steps}} = 1,000$（每条样本的步数）
$R_{\text{ops}} = 156 \ \text{TFLOPS}$（单GPU算力）
$N_{\text{GPUs}} = 1$（使用GPU数量）

代入公式：

$$T_{\text{seconds}} = \frac{1 \times 10^9 \times 6 \times 1,000 \times 2 \times 10^6 \times 1,000}{156 \times 10^{12} \ \text{FLOPS} \times 1}$$ $$T_{\text{seconds}} \approx 76,923,077 \ \text{秒}$$ $$T_{\text{days}} \approx 890 \ \text{天}$$

思考点