词嵌入

在上一章《Word2vec：学习词嵌入》中，我们介绍了 Word2vec、学习词嵌入的基础知识，以及两种常见的 Word2vec 算法：skip-gram 和 CBOW。

现在，我们将讨论其他几种词向量算法：

• 全局向量（GloVe）
• 来自语言模型的嵌入（ELMo）
• 使用 ELMo 进行文档分类

章节概述

首先，我们将学习一种称为**全局向量（GloVe）**的词嵌入学习技术，并了解 GloVe 相较于 skip-gram 和 CBOW 所具备的独特优势。

我们还将探讨一种近期提出的语言表示方法——来自语言模型的嵌入（ELMo）。ELMo 相比其他算法更具优势，因为它能够对词语进行消歧，并捕捉语义信息。具体来说，ELMo 通过结合某个词及其上下文词语来生成上下文化（contextualized）的词表示，而不是像 skip-gram 或 CBOW 那样将每个词的表示独立处理。

最后，我们将利用新学到的 ELMo 向量，解决一个有趣的文档分类实际应用问题。