概念
简介：BERT
让我们回顾一下课程第一部分将涵盖的内容。
本章首先介绍 Transformer 的基本概念，接着学习 Transformer 如何利用编码器-解码器架构完成语言翻译任务。随后，我们将深入探究 Transformer 编码器的工作原理，详细分析编码器的各个组成部分。在理解编码器的基础上，进一步深入剖析解码器，并详细讲解解码器的每个组件。最后，将编码器与解码器整合起来，整体理解 Transformer 的工作流程。
接下来，我们将学习目前最流行且最先进的文本嵌入模型之一——BERT。BERT 在多个自然语言处理任务中取得了顶尖成果，彻底改变了 NLP 领域。本章首先介绍 BERT 的基本概念，以及它与其他嵌入模型的区别；然后详细探讨 BERT 的工作原理及其模型配置。