Tokens是AI处理文本的基本单位，通过分词将文本切分为词、字符或子词等单元，再映射为数字ID供模型计算，实现语言理解与生成，其数量直接影响模型输入、上下文处理及使用成本。
在人工智能，特别是自然语言处理（NLP）领域，tokens是模型处理和理解文本的基本单位。它们是将人类语言转换为机器可以计算和分析的格式的桥梁。无论是单词、字符还是词的一部分，文本在被AI模型处理前，都必须先被分解为tokens。
币安官网直达：
欧易官网直达：
火币官网直达：
Tokens：AI理解语言的基石
计算机无法直接理解“你好，世界”这样的字符串。为了让AI模型能够处理这些信息，我们需要一个标准化的过程，这个过程就是“分词”（Tokenization）。通过这个过程，连续的文本被切分成一个个独立的、有意义的单元，这些单元就是tokens。
常见的Tokens类型
Tokens的切分粒度不同，主要可以分为以下几种：
词元 (Word Tokens)
这是最直观的方式，直接将句子中的单词作为tokens。例如，“I love AI” 会被分成三个tokens：‘I’, ‘love’, ‘AI’。这种方式简单，但对于词汇量庞大的语言，词典会非常大，并且无法处理未见过的词（Out-of-Vocabulary, OOV）。
字符 (Character Tokens)
将每个字符（包括字母、标点符号）作为一个token。例如，“AI” 会被分成 ‘A’, ‘I’。这种方式不会遇到未登录词问题，但tokens序列会变得非常长，难以捕捉长距离的语义依赖关系。
子词 (Subword Tokens)
这是一种介于词和字符之间的折中方案，也是目前主流大语言模型（如GPT系列）所采用的方式。它通过算法（如BPE）将常见词作为一个完整的token，将不常见的词拆分为多个有意义的子词片段。例如，“tokenization” 可能会被拆分为 ‘token’ 和 ‘ization’。这种方法既能有效控制词汇表大小，又能处理生僻词和复杂词形，是目前最高效的方式。
Tokens的“交易所”：文本如何转换为AI可用的数据
我们可以将文本处理的过程想象成一个特殊的“交易所”。在这个“交易所”里，人类的自然语言文本被“交易”成AI模型能够处理的标准化数字数据。这个核心过程就是分词和ID映射。
第一步：文本的分割
当一段文本进入这个“交易所”时，首先会被一个叫做“Tokenizer”（分词器）的工具进行分割。分词器根据预设的规则（例如BPE算法），将输入的文本字符串切分成一个tokens列表。例如，输入“AI改变世界”，经过分词器处理后，可能得到 `[‘AI’, ‘改变’, ‘世界’]` 这样一个tokens列表。
第二步：构建词汇表与ID映射
在模型训练之前，会先构建一个庞大的“词汇表”（Vocabulary）。这个词汇表包含了所有可能出现的tokens，并为每一个token分配一个唯一的数字ID。这就像是“交易所”里的价格牌，每个token都有一个固定的编号。例如：
{‘AI’: 502, ‘改变’: 1089, ‘世界’: 764}
因此，文本 `[‘AI’, ‘改变’, ‘世界’]` 最终被“交易”成一个模型可以直接处理的数字序列：`[502, 1089, 764]`。这个数字序列才是真正被输入到AI模型中进行计算的数据。
Tokens的核心用途
作为模型输入
AI模型本质上是数学模型，它只能处理数字，无法直接处理文本。将文本转换为tokens并进一步映射为数字ID，是让模型能够“读取”和“理解”人类语言的唯一途径。所有的后续计算，如注意力机制、上下文推理等，都是基于这个数字序列进行的。
计算和上下文理解
通过将文本转换为一个tokens序列，模型不仅知道了文本中包含哪些词，还保留了它们的顺序和位置信息。这使得模型能够学习到词与词之间的关系，理解语法结构和上下文含义。一个token在序列中的位置对于模型理解其含义至关重要。
控制生成长度和成本
在许多AI服务中，计算资源的使用量是根据处理的tokens数量来计费的。无论是输入（Prompt）还是输出（Generation），其长度都以tokens数量来衡量。此外，每个模型都有一个最大上下文窗口限制，例如4096或128k tokens，这意味着模型一次能够处理的tokens总数是有限的。因此，理解tokens对于管理AI使用成本和有效利用模型能力至关重要。
以上就是tokens在ai中的作用 tokens的作用是什么 tokens的用途的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1279119.html
微信扫一扫 
支付宝扫一扫 
