Tokens是AI模型处理文本的基本单位，可为单词、字或标点；英文中1词约1-2个tokens，中文1字约1-3个tokens，因分词方式不同导致中英文token数量差异。
Tokens可以被理解为人工智能模型处理文本时的基本单位。模型在理解和生成语言时，并不是直接处理单词或字符，而是先将文本分解成一个个的“tokens”。一个token可以是一个完整的单词，也可以是一个单词的一部分，甚至是一个标点符号。
币安官网直达：
欧易官网直达：
火币官网直达：
什么是Tokens？
在大型语言模型（LLM）的世界里，tokens是构成所有文本的基础模块。就像积木一样，模型使用这些tokens来构建和解析句子、段落乃至整篇文章。这种方式让模型能够更高效地处理语言的复杂性。
为什么不直接使用单词？
直接使用单词作为单位会遇到一些问题。例如，词汇表会变得异常庞大，包含各种时态、单复数和衍生词（如 run, running, ran）。同时，模型也无法处理从未见过的词汇。通过使用tokens，尤其是“子词”（subword）单位，模型可以将“unbelievable”分解成 un、believe 和 able 这样的部分。这大大减小了词汇表的规模，并增强了模型处理未知词汇的能力。
Tokens怎么计算？
Tokens的计算没有一个固定的通用公式，它完全取决于训练该模型时所使用的 分词器（Tokenizer）。不同的模型会使用不同的分词算法和词汇表，导致对同一段文本的token计算结果也不同。
常见的计算方法
现代模型大多采用基于 子词（Subword） 的算法，例如BPE（Byte-Pair Encoding）或WordPiece。其基本思想如下：
第一步： 统计文本语料库中字符组合的频率。
第二步： 将出现频率最高的相邻字符或字符组进行合并，形成一个新的、更大的单位（一个token）。
第三步： 重复这个过程，直到达到预设的词汇表大小。最终，常见单词（如 “the”、“is”）本身会成为一个token，而较长或不常见的词则由几个子词token组合而成。
中英文Tokens计算的差异
对于英文：
通常情况下，一个单词约等于1到2个tokens。短而常见的单词（如“a”, “go”）通常是1个token。较长的单词或带有前缀后缀的词可能会被拆分成多个tokens。一个粗略的经验法则是，100个tokens大约对应75个英文单词。
例如：“I love artificial intelligence.” 可能被分解为：[“I”], [“love”], [“artificial”], [“intelligence”], [“.”]，大约5个tokens。
对于中文：
中文没有空格作为自然分隔符，因此计算方式有很大不同。通常，一个汉字会对应1到3个tokens。常见汉字（如“我”、“的”、“是”）可能是一个token，而一些不那么常见的汉字可能会被分解成更小的部分，占用更多tokens。
例如：“我爱人工智能。” 可能被分解为：[“我”], [“爱”], [“人工”], [“智能”], [“。”]。这里5个汉字加一个标点，可能就变成了5个tokens。如果“智能”这个词在词汇表中不是一个整体，它还可能被拆分成更多tokens。因此，同样意思的表达，中文通常会比英文消耗更多的tokens。
以上就是什么是tokens?tokens怎么计算?的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1224093.html
微信扫一扫 
支付宝扫一扫 
