Name: 开始使用 Google BERT
Availability: InStock

Content

14 Lessons • 0 Quizzes • 0 Challenges

在开始之前

1
关于本课程

从 BERT 开始

1
简介：BERT

理解BERT模型

1
BERT模型简介
2
BERT的工作原理
3
BERT的配置
4
预训练 BERT 模型
5
WordPiece 分词器
6
BERT模型的预训练策略
7
掩码语言建模
8
下一句预测
9
预训练流程
10
子词分词算法
11
字节对编码
12
字节级字节对编码与WordPiece算法
13
总结：理解 BERT 模型
14
测验：理解 BERT 模型

Transformer 入门简介

1
Transformer 简介
2
理解Transformer的编码器
3
自注意力机制
4
理解自注意力机制
5
多头注意力机制
6
通过位置编码学习位置信息
7
编码器：前馈网络以及“加和归一化”组件
8
将编码器的所有组件整合在一起
9
理解Transformer中的解码器
10
掩码多头注意力
11
多头注意力
12
解码器：前馈网络与“加和归一化”组件
13
将解码器的所有组件整合在一起
14
将编码器和解码器组合在一起
15
摘要：Transformer 入门简介
16
练习：Transformer 入门
17
练习：解码器架构
18
测验：Transformer 入门

动手实践 BERT

1
探索预训练的BERT模型
2
Transformer
3
从 BERT 的所有编码器层中提取嵌入
4
针对下游任务微调BERT
5
情感分析
6
自然语言推理
7
问答
8
使用微调后的BERT进行问答任务
9
命名实体识别
10
总结：动手实践BERT
11
测验：动手实践 BERT

探索 BERT 变体

1
简介：BERT 变体

不同的 BERT 变体

1
ALBERT
2
ALBERT：模型训练
3
ALBERT：嵌入向量提取
4
RoBERTa
5
RoBERTa 分词器
6
ELECTRA
7
ELECTRA模型的生成器与判别器
8
训练 ELECTRA 模型
9
SpanBERT
10
SpanBERT：探索架构
11
摘要：不同的 BERT 变体
12
测验：不同的 BERT 变体

基于知识蒸馏的BERT变体

1
知识蒸馏
2
训练学生网络
3
DistilBERT
4
训练学生模型 BERT（DistilBERT）
5
TinyBERT
6
教师-学生架构
7
Transformer层的蒸馏
8
嵌入层与预测层的蒸馏
9
预训练与微调的蒸馏技术
10
数据增强
11
将知识从BERT迁移至神经网络
12
数据增强方法
13
摘要：基于知识蒸馏的BERT变体
14
测验：基于知识蒸馏的BERT变体

BERT 的应用

1
简介：BERT 的应用

探索 BERTSUM 进行文本摘要

1
文本摘要
2
微调 BERT 用于抽取式摘要
3
用于抽取式摘要的BERTSUM
4
用于抽象式摘要的BERTSUM
5
ROUGE 评估指标
6
训练 BERTSUM 模型
7
探索使用 BERTSUM 进行文本摘要
8
测验：探索用于文本摘要的 BERTSUM

将BERT应用于其他语言

1
理解多语言BERT
2
在NLI任务上评估M-BERT
3
多语言 BERT 到底支持多少种语言？
4
M-BERT 的泛化能力
5
代码切换与音译的影响
6
跨语言语言模型（XLM）
7
XLM-R 模型
8
特定语言的BERT
9
西班牙语的BETO
10
适用于荷兰语的 BERTje
11
德语 BERT
12
中文BERT
13
日文BERT
14
用于芬兰语的FinBERT
15
用于意大利语和葡萄牙语的 BERT 模型
16
用于俄语的RuBERT
17
总结：将 BERT 应用于其他语言
18
测验：将 BERT 应用于其他语言

探索句子级与领域特定的BERT

1
Sentence-BERT
2
基于孪生网络的 Sentence-BERT
3
基于三元组网络的 Sentence-BERT
4
Sentence-BERT 模型的使用场景
5
通过知识蒸馏学习多语言嵌入
6
多语言句子-BERT 模型
7
领域特定的BERT
8
BioBERT
9
总结：探索句子级和领域特定的BERT
10
测验：探索句子级与领域特定的BERT

使用 VideoBERT、BART 及其他模型

1
VideoBERT 模型
2
VideoBERT的预训练数据集及应用
3
BART 模型
4
噪声注入技术
5
使用 BART 进行文本摘要
6
探索 BERT 相关库
7
构建文档问答模型
8
文档摘要
9
总结：使用 VideoBERT、BART 等模型
10
测验：使用 VideoBERT、BART 及其他模型

结论

1
我们学到的内容

Certificate of Completion

Showcase your accomplishment by sharing your certificate of completion.

Course Author:Anonymous User

开始使用 Google BERT

WHAT YOU'LL LEARN

TAKEAWAY SKILLS

Content

1. 在开始之前了解谷歌的BERT架构在自然语言处理任务中的应用及其微调方法。

关于本课程

2. 从 BERT 开始了解 BERT 的架构、预训练任务及其在自然语言处理任务中的应用。

简介：BERT

3. 理解BERT模型掌握 BERT 模型的架构、训练方法及分词技术的基本原理。

BERT模型简介

BERT的工作原理

BERT的配置

预训练 BERT 模型

WordPiece 分词器

BERT模型的预训练策略

掩码语言建模

下一句预测

预训练流程

子词分词算法

字节对编码

字节级字节对编码与WordPiece算法

总结：理解 BERT 模型

测验：理解 BERT 模型

4. Transformer 入门简介深入理解Transformer架构，包括编码器-解码器组件以及自注意力机制。

Transformer 简介

理解Transformer的编码器

自注意力机制

理解自注意力机制

多头注意力机制

通过位置编码学习位置信息

编码器：前馈网络以及“加和归一化”组件

将编码器的所有组件整合在一起

理解Transformer中的解码器

掩码多头注意力

多头注意力

解码器：前馈网络与“加和归一化”组件

将解码器的所有组件整合在一起

将编码器和解码器组合在一起

摘要：Transformer 入门简介

练习：Transformer 入门

练习：解码器架构

测验：Transformer 入门

5. 动手实践 BERT使用嵌入向量解决在多种自然语言处理任务中应用预训练BERT模型的问题。

探索预训练的BERT模型

Transformer

从 BERT 的所有编码器层中提取嵌入

针对下游任务微调BERT

情感分析

自然语言推理

问答

使用微调后的BERT进行问答任务

命名实体识别

总结：动手实践BERT

测验：动手实践 BERT

6. 探索 BERT 变体重点关注显著的BERT变体及其在架构上的改进，以实现高效的性能表现。

简介：BERT 变体

7. 不同的 BERT 变体练习使用 ALBERT、RoBERTa、ELECTRA 和 SpanBERT 来提升特定任务的自然语言处理效果。

ALBERT

ALBERT：模型训练

ALBERT：嵌入向量提取

RoBERTa

RoBERTa 分词器

ELECTRA

ELECTRA模型的生成器与判别器

训练 ELECTRA 模型

SpanBERT

SpanBERT：探索架构

摘要：不同的 BERT 变体

测验：不同的 BERT 变体

8. 基于知识蒸馏的BERT变体尝试在 BERT 的变体中使用知识蒸馏，包括 DistilBERT 和 TinyBERT。

知识蒸馏

训练学生网络

DistilBERT

训练学生模型 BERT（DistilBERT）

TinyBERT

教师-学生架构

Transformer层的蒸馏

嵌入层与预测层的蒸馏

预训练与微调的蒸馏技术

数据增强