分词

分词是将文本字符串分解为称为标记的小单元的过程。这些标记可以是单词、短语、符号或其他有意义的元素。目标是将原始文本转换为计算机可以轻松处理和分析的格式。