tokens是大型语言模型处理文本的最小单位，可以是一个单词、一个汉字、一个标点符号或者单词的一部分。模型按tokens收费是因为它直接反映了处理请求所消耗的计算资源。而禁止生成apk名称或**等内容，则是出于安全、法律和道德责任的考虑，旨在防止模型被用于恶意或有害的活动。
币安：
欧易：
火币：
Tokens是什么？
在大型语言模型（LLM）的世界里，模型无法直接理解人类的文字。它需要将所有文本分解成一个它能理解的数字列表。这个过程中最基本的构成单元就是“Token”。
文本如何被分解为Tokens
Tokenization（分词）是将一段文本分解为Tokens的过程。这个过程根据不同的语言和模型有所不同：
对于英文：一个Token通常是一个单词或一个有意义的词根。例如，“unbelievably” 可能会被分解为 “un”、“believe” 和 “ably” 三个Tokens。
对于中文：一个Token通常就是一个汉字。例如，“我爱大模型” 通常会被分解为 “我”、“爱”、“大”、“模”、“型” 五个Tokens。
标点符号：逗号、句号等标点符号通常也会被视为独立的Token。
简单来说，Token是模型衡量文本长度的“尺子”。无论是你输入的问题，还是模型生成的答案，其长度都是用Tokens数量来计算的。
为什么大模型按Tokens收费？
将收费模式与Tokens数量挂钩，是一种公平且精确衡量计算资源消耗的方式。这背后主要有几个原因：
计算资源的直接度量
模型处理的Tokens越多，意味着它需要进行的数学运算就越复杂、越多。更多的Tokens需要更多的GPU算力、内存和处理时间。因此，使用Tokens作为计费单位，可以直接关联到服务背后所消耗的硬件和电力成本。
公平且透明的计费模型
按Tokens计费对用户来说非常公平。一个简短的问答请求（Tokens少）自然会比生成一篇数千字长文（Tokens多）的请求便宜得多。用户只需为自己实际使用的资源付费，清晰明了。
统一输入与输出的成本
需要注意的是，计费通常包含两个部分：输入（Prompt）的Tokens数量和输出（Completion）的Tokens数量。因为模型不仅需要“阅读”你的问题，还需要“思考”并“书写”答案，这两个过程都会消耗计算资源。
为什么禁止生成特定内容？
大型语言模型设定了严格的内容限制，禁止生成如apk名称或**等特定内容，这主要是基于以下几点考虑：
安全与法律风险
生成apk名称可能被滥用于恶意目的。例如，不法分子可能利用模型生成听起来与知名应用非常相似的apk名称（如“G00gle Pay”或“Amaz0n Shopping”），用于制作钓鱼应用或恶意软件，诱骗用户下载，从而窃取个人信息或造成财产损失。禁止此类生成是为了从源头上切断潜在的犯罪链条。
道德与社会责任
模型作为一种强大的工具，其开发者负有确保其不被用于传播有害信息的社会责任。禁止生成**（例如，涉及暴力、仇恨言论、歧视或成人内容）是为了防止模型成为制造和传播不良内容的工具，保护公众特别是未成年人免受有害信息的影响。
平台政策与品牌保护
提供大模型服务的公司有其明确的使用政策（Terms of Service）。这些政策旨在确保其技术被用于积极和合法的目的。允许生成非法或有害内容不仅会违反法律法规，还会严重损害公司的声誉和品牌形象。
关于Tokens的流转与获取
在数字资产领域，“Token”也指代一种可流通的加密凭证。这些数字资产Tokens的流转和获取，通常在一个专门的数字市场中进行，这个市场扮演着关键角色。
数字资产Tokens的来源
数字资产Tokens的创造方式有多种，其中一种核心方式被称为挖k。这个过程通常需要强大的计算设备来解决复杂的数学难题，通过贡献算力来维护网络的安全和交易的确认，成功解决问题的人会获得新创建的Tokens作为奖励。
市场的核心功能
交易匹配
市场最基本的功能是连接买家和卖家。它提供一个平台，让希望出售其数字资产Tokens的人可以挂出卖单，而希望购买的人可以挂出买单。系统会自动将价格匹配的买卖双方撮合在一起，完成交易。
资产托管
为了交易的顺利进行，用户需要将他们的数字资产或资金存入平台提供的专属账户中。平台负责安全地保管这些位于账户内的资产，直到交易完成或用户选择将其提取到自己的个人账户。
价格发现
一个活跃的市场汇集了大量的买卖意愿，通过持续不断的交易，一种数字资产Token的公允市场价格得以形成。这个价格反映了当前市场的供求关系。
以上就是Tokens是什么 为什么大模型按Tokens收费的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/1221891.html
微信扫一扫 
支付宝扫一扫 
