概念
关于本课程
让我们概览一下本课程及其先修要求。
表格
| 特性 | BERT | GPT |
|---|---|---|
| 模型类型 | 编码器（双向） | 解码器（自回归） |
| 训练方向 | 双向（从左到右和从右到左同时进行） | 单向（从左到右） |
| 主要用途 | 文本理解（分类、命名实体识别、问答等） | 文本生成（对话、内容创作等） |
| 预训练任务 | 掩码语言建模（MLM） | 因果语言建模 |
| 微调 | 易于针对特定任务进行微调 | 通常针对文本生成任务进行微调 |
添加便签
笔记
关于本课程
让我们概览一下本课程及其先修要求。
从 BERT 开始
让我们概览一下本课程及其先修要求。
让我们概览一下本课程及其先修要求。
| 特性 | BERT | GPT |
|---|---|---|
| 模型类型 | 编码器（双向） | 解码器（自回归） |
| 训练方向 | 双向（从左到右和从右到左同时进行） | 单向（从左到右） |
| 主要用途 | 文本理解（分类、命名实体识别、问答等） | 文本生成（对话、内容创作等） |
| 预训练任务 | 掩码语言建模（MLM） | 因果语言建模 |
| 微调 | 易于针对特定任务进行微调 | 通常针对文本生成任务进行微调 |
从 BERT 开始