导入
预训练任务简介
了解自监督学习和预训练任务。
ℒ_SSL(f, D_source) = 𝔼_{X_i ∼ D_source} [ℒ_CE(f(X_i), P_i)]
ℒ_CE(ŷ, y) = - Σ_{c ∈ 𝒞} y_c · log(ŷ_c)
图示:VOC07数据集上线性分类器评估的mAP随网络层数的变化
(横轴:网络层;纵轴:mAP值)
数据点:
- Layer 1: 28
- Layer 2: 45
- Layer 3: 58
- Layer 4: 65
- Layer 5: 58
曲线趋势显示,第4层达到最高mAP(65),之后略有下降。