导入
知识蒸馏
通过一个示例详细了解知识蒸馏与暗知识。
...
教师网络
...
教师网络
...
教师网络
P_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}
...
教师网络
添加便签
笔记
Section 1 / 14
知识蒸馏
通过一个示例详细了解知识蒸馏与暗知识。
不同的 BERT 变体
训练学生网络
通过一个示例详细了解知识蒸馏与暗知识。
通过一个示例详细了解知识蒸馏与暗知识。
P_i = \frac{\exp(z_i/T)}{\sum_j \exp(z_j/T)}
不同的 BERT 变体
训练学生网络