替代方法

词袋模型

当将文档切分为词语作为基本单元时，分词——即将文档拆解为独立单位——很容易理解。这种方法通常被称为“词袋模型”。然而，该方法存在一些问题，例如缺乏上下文信息。它是一种看待文档的简单方式，但还有其他更复杂的策略。

更复杂的处理方法

• N-gram（N元语法）：词语的含义依赖于上下文。例如，“bank”一词可能有不同含义：“Deposit money in the bank”（把钱存入银行）中的“bank”指银行；而“A bird is nesting on the bank of the river”（一只鸟在河岸上筑巢）中的“bank”则指河岸。再比如，玛丽·雪莱所提到的是维克多·弗兰肯斯坦，还是弗兰肯斯坦的怪物？短语或词语组合在语义理解中至关重要。

• 词干提取（Stemming）：某些词语表达相同概念，但由于附加了词缀而被视为不同的词。例如，“Complete”、“Completely”和“Completing”表达相近含义，但在单独分词时会被视为三个不同的词。同样，描述弗兰肯斯坦怪物时，可能使用“scaring”、“scary”、“scared”、“scariest”或“scarier”，这些形式都源于同一词根。

• 词形还原（Lemmatization）：词形还原（Lemmatization）是把同一个词的不同屈折形式归并为词典中的原形。例如“was”、“were”、“is”都会还原为“be”，“better”、“best”都会还原为“good”。与词干提取不同，词形还原得到的一定是词典里真实存在的词，因此它既能把同一概念的不同写法合并，又不会像粗暴截断词缀那样破坏词义。

• 词性标注（Parts of speech）：词语的意义取决于其在句子中的位置和语法角色。以“watch”为例：如果说“He owns a watch”（他拥有一块手表），那么“watch”是名词；而如果说“She is going to watch a movie”（她打算看电影），则“watch”是动词。同一个词因用法不同而具有不同含义。

• TF-IDF：某些词语因其在文档集合中出现频率较低而显得更重要。“and”这类常见词在许多文档中频繁出现，对区分特定文档的价值很小；而像“galvanism”（伽伐尼电学）这样的词很少出现，因此可作为识别特定来源文档的重要指标。