Logo
Section 1 / 6

预训练任务简介

了解自监督学习和预训练任务。

导入

预训练任务简介

了解自监督学习和预训练任务。

ℒ_SSL(f, D_source) = 𝔼_{X_i ∼ D_source} [ℒ_CE(f(X_i), P_i)]

ℒ_CE(ŷ, y) = - Σ_{c ∈ 𝒞} y_c · log(ŷ_c)

图示:VOC07数据集上线性分类器评估的mAP随网络层数的变化
(横轴:网络层;纵轴:mAP值)
数据点:

  • Layer 1: 28
  • Layer 2: 45
  • Layer 3: 58
  • Layer 4: 65
  • Layer 5: 58

曲线趋势显示,第4层达到最高mAP(65),之后略有下降。

自监督学习简介

预测图像块的相对位置