Tokens 是 LLM 处理的基本文本单位,通过将文本分解为单词、子词或字符等更小的组件而创建。理解 tokens 至关重要,因为模型会预测序列中的下一个 token,API 费用基于 token 数量计算,并且模型对输入和输出有最大 token 限制。