Tokens是AI处理文本的最小单位，通过分词将句子拆解为单词或子词片段。
在人工智能（特别是语言模型）的世界里，Tokens可以被理解为模型处理信息的最小单位。就像我们用单词和标点符号组成句子一样，AI模型使用Tokens来读取、理解和生成文本。它们是AI理解人类语言的基石。
币安：
欧易：
火币：
什么是Tokens？
基本概念
当我们向一个AI模型输入一段文字时，它不会直接“阅读”整个句子。相反，它会首先通过一个叫做“Tokenization”（分词）的过程，将这段文字分解成一个个更小的部分，这些部分就是Tokens。一个Token可以是一个完整的单词，也可以是单词的一部分（称为子词），甚至可以是一个标点符号或者一个空格。
一个简单的例子
让我们看看一个句子是如何被分解的：
句子: I love neural networks.
它可能被分解成这样的Tokens：
[ “I”, “love”, “neural”, “networks”, “.” ]
对于更复杂的单词，模型可能会使用子词分解：
句子: Tokenization is incredibly useful.
它可能被分解成：
[ “Token”, “ization”, “is”, “in”, “credibly”, “useful”, “.” ]
通过这种方式，即使模型从未见过“incredibly”这个词，它也可能认识“in”和“credibly”这两个部分，从而推断出整个单词的含义。
Tokens在AI模型中如何工作？
将文本转换为数字
计算机无法直接理解文字，它们只能处理数字。因此，在分词之后，模型会查找一个巨大的“词汇表”，并将每一个Token转换成一个独一无二的数字ID。例如，“love”可能对应数字784，“neural”可能对应3591。
所以，句子 “I love neural networks.” 最终会变成一串类似 [ 40, 784, 3591, 6281, 13 ] 的数字序列，这才是模型真正处理的数据。
理解上下文和关系
一旦文本被转换成数字序列，AI模型就可以对其进行复杂的数学计算。通过在海量数据上进行训练，模型学会了这些数字（Tokens）之间的统计关系和模式。它知道哪些Token倾向于一起出现，以及它们在不同序列中的含义。这就是AI理解语法、语境和语义的方式。
生成新内容
当我们需要AI生成回答时，过程是相反的。模型会根据我们输入的内容，预测出下一个最有可能出现的Token的数字ID。然后，它将这个数字ID转换回对应的文本Token，并将其作为输出的一部分。接着，它将这个新生成的Token考虑到上下文中，继续预测下一个Token，如此循环，直到生成完整的句子或段落。
为什么Tokens很重要？
处理未知词汇
子词分词（Subword Tokenization）机制让模型非常灵活。它能够处理拼写错误、新的网络俚语或者它从未见过的专业术语，因为它总是可以尝试将未知单词分解成已知的子词部分来理解。
计算成本和限制
Tokens是衡量AI模型工作量的基本单位。大多数模型都有一个“上下文窗口”限制，即它们一次能处理的Token数量是有限的（例如4096或128000个Tokens）。此外，许多AI服务的费用是根据输入和输出的总Token数量来计算的。因此，理解Token数量有助于我们管理使用成本和模型的输入长度。
AI Tokens与加密世界中的“Token”
完全不同的概念
需要特别强调的是，人工智能领域中的“Token”与区块链或加密世界中的“Token”（通常翻译为“代币”）是两个完全不同的概念，尽管它们共享同一个英文单词。
AI Tokens：是数据处理的单位，是文本被分解成的片段，用于模型的计算和理解。
加密Tokens：是一种数字资产，代表着某种价值、权益或功能。它们可以被存储在数字账户中，并通过一种称为挖k的过程获得。这些资产的设计目的是用于去中心化应用或作为价值储存手段。
简而言之，一个是信息处理的基本单元，另一个是数字世界中的资产。在讨论AI时，我们所说的Tokens始终指的是前者。
以上就是Tokens在AI中的作用：从零开始学起的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1221404.html
微信扫一扫 
支付宝扫一扫 
