导入
简介：Transformer 模型
了解transformers模型的概览。
Transformer 模型彻底改变了大多数涉及序列数据的机器学习问题的格局。与之前的主流模型——基于循环神经网络（RNN）的模型相比，Transformer 在性能上实现了显著提升。Transformer 模型之所以表现优异，一个主要原因在于它能够同时访问整个输入序列（例如，一连串的词元），而 RNN 类模型则只能逐个处理序列中的元素。在之前的讨论中，“Transformer”这一术语已多次出现，作为一种在序列建模任务中超越 LSTM 和 GRU 等传统模型的技术。接下来，我们将深入学习 Transformer 模型。
章节概述
本章首先将详细讲解 Transformer 模型的结构与原理。随后，我们将重点介绍 Transformer 家族中的一个代表性模型——来自 Transformer 的双向编码表示（BERT），并探讨如何利用该模型完成问答任务。
具体涵盖以下主要内容：
- Transformer 架构
- 理解 BERT
- 使用 BERT 进行问答