导入
Transformer 简介
了解一种最受欢迎且最先进的深度神经网络架构——Transformer。
为克服RNN的这一局限性，一篇名为《Attention Is All You Need》的论文提出了一种新架构——Transformer（Vaswani, Ashish, Google Brain, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan Gomez, Łukasz Kaiser, 和 Illia Polosukhin. n.d. “Attention Is All You Need.” https://papers.nips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf）。目前，Transformer已成为多种自然语言处理（NLP）任务中的最先进模型。它的出现为NLP领域带来了重大突破，并推动了诸如BERT、GPT-3、T5等革命性架构的发展。
Transformer模型完全基于注意力机制，彻底摒弃了循环结构。它采用一种特殊的注意力机制，称为自注意力（self-attention）。