Tokens

Token 是 LLM 处理文本的基本单位，通过将文本分解为更小的组件（如单词、子词或字符）而创建。理解 token 至关重要，因为模型会预测序列中的下一个 token，API 成本基于 token 数量计算，而且模型对输入和输出有最大 token 限制。