模型训练的粗略估算

生成式AI系统中的资源估算

一个简单的神经网络

参数数量计算：
N_params = 2 × 3 + 3 × 1 = 9

隐藏层计算：
H₁ = (X₁ × W_X1H1) + (X₂ × W_X2H1) + b₁
H₂ = (X₁ × W_X1H2) + (X₂ × W_X2H2) + b₁
H₃ = (X₁ × W_X1H3) + (X₂ × W_X2H3) + b₁

输出层计算：
O = (H₁ × W_H1O) + (H₂ × W_H2O) + (H₃ × W_H3O) + b₂

推理时间（秒）计算：
T_sec = 总FLOPS / 每秒FLOPS

总FLOPS计算：
Total FLOPS = N_params × N_FLOPS × E × D

带硬件性能的推理时间：
T_sec = (N_params × N_FLOPS × E × D) / R_ops

多GPU情况下的推理时间：
T_sec = (N_params × N_FLOPS × E × D) / (R_ops × N_GPUs)

考虑通信开销的推理时间：
T_sec = (N_params × N_FLOPS × E × D × C) / (R_ops × N_GPUs)

重复项（同上）：
T_sec = (N_params × N_FLOPS × E × D × C) / (R_ops × N_GPUs)

推理延迟公式：
T_inference = (N_params × 2 × C) / R_ops