arxiv上所有论文转成token，加起来不过14.1gb而已。
这是最新爆火开源计划亚历山大完成的壮举。
事实上，这还只是第一步。
他们最终是想要将整个互联网变成Tokens，换言之全都转化成ChatGPT等大模型理解这个世界的方式。
一旦这样的数据集诞生，那岂不是为开发出GPT-4这样的大模型又新增一大利器，上知天文下知地理指日可待了？！
消息一出，瞬间引发巨大关注。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
网友们赞叹，史诗般的。
而这背后仅是四个平均年龄20岁的少年发起，目前Arxiv所有论文数据集已经发布，他们将于下周发布嵌入（Embedding）搜索平台。
从Arxiv上所有论文开始
超过400万个项目、6亿个token，30.7亿个向量维度。
这个名为亚历山大的开源计划，首先从Arxiv每篇论文上开始。
选择的方式是嵌入，简单来说，就是将现实世界的各种对象具象成计算机所能理解的向量。
最经典的例子就是将原始图像表示为灰度像素。
这种技术最大的特点就是能够表示出人类感知到的语义相似性。
比如，当有10个词表示同一事物时，很难通过关键词查找论文。但嵌入就可以完成，因此很适用于搜索、聚类、推荐和分类。
基于实用性和效率的考虑，开发团队只选择嵌入了论文的标题和摘要。
在测试各种模型之后，最终选择使用InstructorXL文本嵌入模型，通过简单地提供任务指令，而无需任何微调，适合于多种任务（比如分类、检索、聚类、文本评估等）和领域（比如科学、金融、医学等）》
闪念贝壳
闪念贝壳是一款AI 驱动的智能语音笔记，随时随地用语音记录你的每一个想法。
218 查看详情 
下周他们将发布Arxiv搜索。目前为止的流程是，首先对100篇最接近的文章进行相似性搜索，然后即时计算这些内容的嵌入，并进行第二次更复杂的搜索。
最终目标是一整个互联网嵌入计划。
20岁少年的疯狂开源计划
之所以要开展这样一次疯狂的开源计划，主要有两方面的原因。
一方面是嵌入巨大的价值。世界上很多问题只是搜索、 聚类、推荐或分类，而这些事情嵌入都非常擅长。而且也如前所述，可以解决一些复杂的难题。
另一方面成本是一次性的且很便宜。大多数情况下无需对同个文件进行二次计算。目前每1亿个Token只需1美元。
但他们并没有找到任何开放的嵌入数据集，因此这样的组织应运而生。
接下来他们还将开放更多的数据集，而这些均由这些用户自行选择。在官网上除了已公开的数据集，剩下的几个待开源项目开启了投票通道。
值得一提的是，背后是一群平均年龄仅为20岁的少年team完成的。
而他们的团队名字同样也很霸气，Macrocosm（宏观世界）联盟。
只要你放大到足够远，人类就会成为一个单一的生物。
就官方介绍，他们致力于为ChatGPT和其他类似产品构建插件，同时也在开发核心产品，基于大模型的个人研究助理，帮助学习、教学和科研。
感兴趣的旁友可戳下方链接了解~
https://alex.macrocosm.so/download
以上就是四个00后的疯狂开源计划：整个互联网转成大模型语料，1亿token嵌入成本只需1美元的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/976865.html
微信扫一扫 
支付宝扫一扫 
![Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]](https://www.chuangxiangniao.com/wp-content/uploads/2025/10/175254039529565.jpg)
![Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]](https://www.chuangxiangniao.com/wp-content/uploads/2025/10/175254039878675.jpg)
![Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]](https://www.chuangxiangniao.com/wp-content/uploads/2025/10/175254039840102.jpg)
![Win10与Ubuntu 18.04双系统安装。（Win10引导Linux）[通俗易懂]](https://www.chuangxiangniao.com/wp-content/uploads/2025/10/175254040055572.jpg)
