导入
简介：使用Transformer生成文本
了解本章将涵盖的主题概要。
自然语言处理（NLP）领域在文本数据的理解、表示和处理方式上取得了显著进展。从使用LSTM和GRU来处理长距离依赖/序列，到利用word2vec等方法构建稠密的向量表示，整个领域实现了巨大的提升。随着词嵌入几乎成为事实上的标准表示方法，LSTM也成为了NLP任务中的主力模型，但我们在此基础上的进一步改进遇到了一些瓶颈。将词嵌入与LSTM结合的方式，虽最大限度地发挥了编码器-解码器（及相关的架构）类模型的优势，但仍存在局限。
在上一章中，我们简要了解了基于CNN的架构在NLP应用场景中的研究与应用所带来的某些性能提升。在本章中，我们将探讨推动当前最先进的Transformer架构发展的下一波技术进步。具体内容包括：
- 注意力机制概述，以及Transformer如何改变NLP领域的格局；
- GPT系列模型，并提供基于GPT-2构建文本生成流程的逐步指导。
我们将涵盖注意力机制、自注意力（self-attention）、上下文嵌入，以及最终的Transformer架构等相关主题。