library(tm, quietly = TRUE)

sampleText <- as.String("在自然语言处理（NLP）中，
token 指的是代表文本中一个有意义单位的字符序列。")

分词 ----------

Boost_tokenizer(sampleText)

library(tokenizers)

sampleText <- "Token 不仅仅是单词。
根据具体的问题领域，将文档切分为短语、句子、行或段落可能是更优的选择。
以下是一个按行对文档进行分词的示例。"

按行分词 ----------

tokenize_lines(sampleText)

理解 N-gram

1library(tm)
2
3"n-gram 是从给定文本中提取的连续 n 个元素的序列" |>
4  Boost_tokenizer() |>
5  ngrams(n = 3)