原创投稿
  1. 创想鸟首页
  2. 用户投稿

HuggingFace 开源 FinePDFs 与 FineVision 数据集

程序猿 • • 用户投稿

hugging face 近日发布了两个大规模开源数据集：finepdfs 和 finevision，分别针对语言模型与视觉-语言模型的训练需求，旨在大幅提升开源模型的性能表现。

https://www.php.cn/link/6750c0194a5f9ae7194a0ae154b64959
https://www.php.cn/link/a007685ecc0ccf820b8ac1d6e77f69fd

FinePDFs 是当前规模最大的公开 PDF 语料库，完全基于 PDF 文档构建，涵盖约 3 万亿 tokens，来自 4.75 亿份文件，支持 1733 种语言，总数据量达 3.65TB。

该数据集源自 105 个 CommonCrawl 快照（时间跨度为 2013 年夏季至 2025 年 2 月），经过 datatrove 工具链进行去重、内容过滤及个人身份信息（PII）匿名化处理，并采用 ODC-By 1.0 开放许可证发布。其文档平均长度接近传统 HTML 数据集的两倍，且包含大量超过 10 万字符的长文本样本，特别适合用于增强开源大语言模型的长上下文理解能力。

数据集已按语言和书写系统分类整理，其中 978 种语言包含超过 100 万 tokens，66 种语言达到或超过 10 亿 tokens。

HuggingFace 开源 FinePDFs 与 FineVision 数据集

集简云 集简云

软件集成平台，快速建立企业自动化与智能化

集简云 22 查看详情 集简云

FineVision 则专为视觉-语言模型（VLM）训练打造，融合了来自 200 多个不同来源的数据，包含 1730 万张图像、2430 万个训练样本、8890 万轮多轮对话以及高达 95 亿 tokens 的回答内容，能够支持如 GUI 导航、目标指向、对象计数等新兴能力的训练。

HuggingFace 开源 FinePDFs 与 FineVision 数据集

据官方介绍，在 10 项主流基准测试中，使用 FineVision 训练的模型平均性能提升超过 20%，显著增强开源视觉-语言模型的表现。所有数据已转换为 Parquet 格式，总容量约为 4.48TB，支持高效的流式加载，便于大规模分布式训练。

以上就是HuggingFace 开源 FinePDFs 与 FineVision 数据集的详细内容，更多请关注创想鸟其它相关文章！

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/242497.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
0 0

关于作者

程序猿的头像

程序猿签约作者

413.8K 文章
0 评论
2 粉丝
这个人很懒，什么都没有留下～
如何使用Java创建日志系统 Java实现日志记录功能技巧
上一篇 2025年11月4日 02:09:37
百度极速版如何使用云同步功能_百度极速版同步功能的设置指南
下一篇 2025年11月4日 02:09:39

相关推荐

  • MySQL缓存机制对性能提升的作用_MySQL缓存配置及调优方案

    MySQL缓存机制对性能提升的作用_MySQL缓存配置及调优方案MySQL缓存机制对性能提升的作用_MySQL缓存配置及调优方案MySQL缓存机制对性能提升的作用_MySQL缓存配置及调优方案MySQL缓存机制对性能提升的作用_MySQL缓存配置及调优方案

    mysql的缓存机制主要包括innodb缓冲池、查询缓存和操作系统文件系统缓存等，其中innodb缓冲池是性能优化的核心。1. innodb缓冲池缓存表数据和索引页，减少磁盘i/o，提升读写效率；2. 查询缓存因失效频繁及锁竞争问题，在高并发场景下易成瓶颈，已在mysql 8.0中移除；3. 操作系…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    100
  • VSCode中竖线怎么设置_VSCode编辑区竖线（标尺）显示与配置教程 用户投稿

    VSCode中竖线怎么设置_VSCode编辑区竖线（标尺）显示与配置教程

    在VSCode中启用垂直标尺需修改settings.json文件中的editor.rulers属性，如设置{ “editor.rulers”: [80, 120] }可在第80和120列显示竖线，提升代码对齐与可读性；虽原生不支持自定义颜色样式，但可通过安装Guides或In…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • PHP 数组值比较与嵌套数组过滤教程 用户投稿

    PHP 数组值比较与嵌套数组过滤教程

    本教程详细讲解如何在 PHP 中比较一个简单数组与一个复杂嵌套数组，并根据特定条件（如文件名匹配）过滤嵌套数组中的所有相关子数组。我们将通过识别非匹配项的索引，然后从所有子数组中移除这些项并重新索引，实现精确的数据筛选。 问题背景 在 php 开发中，我们经常会遇到需要处理结构复杂的数组数据。例如，…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • Linux之包管理工具（RPM和YUM） 用户投稿

    Linux之包管理工具（RPM和YUM）

    包管理工具1. rpm包1.1 rpm指令1.1.1 查询指令使用rpm查询已安装的rpm列表：rpm -qa | grep xx 检查是否已安装firefox：rpm -qa | grep firefox 如果显示i686或i386，表示32位系统，noarch表示通用rpm -qa：列出所有已安…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • windows11磁盘分区怎么操作_windows11磁盘分区调整方法 用户投稿

    windows11磁盘分区怎么操作_windows11磁盘分区调整方法

    可通过系统磁盘管理或易我分区大师调整Windows 11分区。先使用磁盘管理压缩卷释放未分配空间，再新建简单卷；或用易我分区大师无损调整分区，拖动滑块释放空间后合并至目标分区，最后执行任务完成操作。 如果您希望对Windows 11的硬盘进行重新规划，但不确定如何安全地拆分或合并存储空间，则可能是由…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • Java集合框架在数据处理中的应用实例 用户投稿

    Java集合框架在数据处理中的应用实例

    使用Set去重：通过LinkedHashSet去除标签重复并保持顺序；2. Map统计频次：利用HashMap统计单词出现次数；3. List结合Comparator排序：按年龄升序、姓名降序排列用户；4. 集合嵌套处理数据：用Map组织部门与员工列表。集合框架提升数据处理效率与代码可读性。 Jav…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • 如何为iPhone12Pro刷机固件下载？一步步教你操作 用户投稿

    如何为iPhone12Pro刷机固件下载？一步步教你操作

    首先使用爱思助手一键下载适用于iPhone 12 Pro的iOS 18固件，若失败则手动导入IPSW文件，最后可通过恢复模式配合电脑工具强制刷机完成系统重装。 如果您尝试为您的设备重新安装操作系统，但无法获取正确的系统文件，则可能是由于固件下载路径不正确或工具不支持。以下是解决此问题的步骤： 本文运…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • 如何使用XGBoost训练AI大模型？优化机器学习模型的步骤 用户投稿

    如何使用XGBoost训练AI大模型？优化机器学习模型的步骤

    XGBoost并非用于训练GPT类大模型，而是擅长处理结构化数据的高效梯度提升算法，其优势在于速度快、准确性高、支持并行计算、内置正则化与缺失值处理，适用于表格数据建模；通过分阶段超参数调优（如学习率、树深度、采样策略）、结合贝叶斯优化与交叉验证，并配合特征工程、数据预处理和集成学习等关键步骤，可显…

    程序猿的头像 程序猿
    2026年9月21日
    000
  • VSCode远程开发：配置容器与SSH连接的最佳实践解析 用户投稿

    VSCode远程开发：配置容器与SSH连接的最佳实践解析

    使用VSCode远程开发提升效率，通过Remote-Containers和Remote-SSH实现环境标准化。1. 配置.devcontainer文件夹，用devcontainer.json定义容器环境，推荐自定义Dockerfile并预装工具；2. SSH连接需配置公钥认证、~/.ssh/conf…

    程序猿的头像 程序猿
    2026年9月21日
    100

  • Ubuntu20.04安装详细图文教程（双系统）[通俗易懂]

    Ubuntu20.04安装详细图文教程（双系统）[通俗易懂]Ubuntu20.04安装详细图文教程（双系统）[通俗易懂]Ubuntu20.04安装详细图文教程（双系统）[通俗易懂]Ubuntu20.04安装详细图文教程（双系统）[通俗易懂]

    大家好，很高兴再次与你们见面，我是你们的朋友全栈君。 Ubuntu安装前言最近我决定将开发环境切换到Linux系统，经过一番研究，我选择了Ubuntu桌面版，因为它不仅美观，而且作为生产系统的生态环境也非常好。于是，我开始寻找安装Ubuntu双系统的方法。安装方法有三种： 虚拟机安装：这种方法无法充…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    000
  • 如何在Java中配置与数据库连接环境 用户投稿

    如何在Java中配置与数据库连接环境

    答案：Java中配置数据库连接需引入JDBC驱动，如MySQL在Maven中添加对应依赖；通过DriverManager或连接池（如HikariCP）获取Connection，使用try-with-resources管理资源；建议将连接参数存入properties文件，并处理常见问题如驱动加载、权限…

    程序猿的头像 程序猿
    2026年9月21日
    000

  • 蝴蝶号无人直播课程推荐：学习路径+核心技能梳理

    蝴蝶号无人直播课程推荐：学习路径+核心技能梳理蝴蝶号无人直播课程推荐：学习路径+核心技能梳理蝴蝶号无人直播课程推荐：学习路径+核心技能梳理蝴蝶号无人直播课程推荐：学习路径+核心技能梳理

    蝴蝶号无人直播的核心在于内容打磨与技术跑通。首要任务是明确直播间定位，如卖货、涨粉或娱乐，并据此准备高清视频、背景音乐及互动文案等素材。其次是技术实现，使用obs等推流工具配合虚拟摄像头软件，但需注意平台参数要求与网络稳定性，以确保直播流畅。最后是运营优化，通过短视频预热、自动回复、数据复盘等方式提…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    000

  • TuxPaint的AI工具怎么裁剪图片？教你轻松完成图片裁剪步骤

    TuxPaint的AI工具怎么裁剪图片？教你轻松完成图片裁剪步骤TuxPaint的AI工具怎么裁剪图片？教你轻松完成图片裁剪步骤TuxPaint的AI工具怎么裁剪图片？教你轻松完成图片裁剪步骤TuxPaint的AI工具怎么裁剪图片？教你轻松完成图片裁剪步骤

    TuxPaint没有AI裁剪工具，只能通过橡皮擦或填充工具手动模拟裁剪效果，适合儿童创意绘画但不适合精确图像编辑。 ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ TuxPaint作为一个面向儿童的绘画软件，其实并没有专门的“AI工具”来执行…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    100
  • win11管理员权限不够怎么办_win11管理员权限不足解决方法 用户投稿

    win11管理员权限不够怎么办_win11管理员权限不足解决方法

    首先以管理员身份运行程序，其次修改文件权限或启用Administrator账户，最后通过调整UAC设置或注册表禁用UAC来解决权限不足问题。 如果您在使用Windows 11时尝试执行某些系统级操作，但提示权限不足或被拒绝，即使当前账户为管理员，也可能是由于用户账户控制（UAC）或特定文件/程序的权…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • Java Executors类提供哪些线程池方法 用户投稿

    Java Executors类提供哪些线程池方法

    Executors类提供创建线程池的静态方法：newFixedThreadPool创建固定大小线程池，适用于稳定负载；newCachedThreadPool创建可缓存线程池，适合短期异步任务；newSingleThreadExecutor创建单线程池，保证任务顺序执行；newScheduledThr…

    程序猿的头像 程序猿
    2026年9月21日
    200

  • Windows&Linux双系统安装流程

    Windows&Linux双系统安装流程Windows&Linux双系统安装流程Windows&Linux双系统安装流程Windows&Linux双系统安装流程

    大家好，很高兴再次见到大家，我是你们的朋友全栈君。 注意事项：在安装Windows与Linux双系统时，建议先安装Windows系统，否则可能会导致grub引导被覆盖的问题。 Windows 10系统安装 制作启动盘（优启通链接）https://www.php.cn/link/219b87ff108…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    200
  • VSCode中怎么使用REM_VSCode移动端REM布局编写与换算教程 用户投稿

    VSCode中怎么使用REM_VSCode移动端REM布局编写与换算教程

    答案：REM_VSCode插件可自动将像素转换为REM，需配置rootFontSize和precision，支持自动与手动转换，确保与html的font-size一致，配合media query适配不同屏幕，若插件异常可检查配置、重启或重装，替代工具有postcss-pxtorem、在线转换工具及浏…

    程序猿的头像 程序猿
    2026年9月21日
    100
  • 小红书发视频比例是多少？小红书视频是16比9还是4比3 用户投稿

    小红书发视频比例是多少？小红书视频是16比9还是4比3

    在当今社交媒体蓬勃发展的背景下，人们通过各种平台获取信息、娱乐和交流。其中，小红书作为一个以短视频和图文笔记为主的社交电商平台，吸引了大量用户群体。本文将围绕小红书平台上视频内容的占比情况进行分析，并探讨其背后的原因及未来发展趋势。 一、小红书视频内容占比现状 根据相关数据统计，目前小红书平台上的视…

    程序猿的头像 程序猿
    2026年9月21日
    200
  • UC浏览器如何开启省流模式_UC浏览器开启省流模式方法 用户投稿

    UC浏览器如何开启省流模式_UC浏览器开启省流模式方法

    开启省流模式可减少UC浏览器流量消耗，通过设置菜单、首页快捷入口或搜索功能三种方式均可启用，系统会压缩网页内容以节省资源。 如果您在使用UC浏览器时希望减少数据流量消耗，尤其是在移动网络环境下，可以通过开启省流模式来优化网页加载方式。该功能会压缩页面内容，降低图片质量和资源体积，从而节省流量。 本文…

    程序猿的头像 程序猿
    2026年9月21日
    100

  • MySQL性能模式监控资源_MySQL瓶颈定位精确工具

    MySQL性能模式监控资源_MySQL瓶颈定位精确工具MySQL性能模式监控资源_MySQL瓶颈定位精确工具MySQL性能模式监控资源_MySQL瓶颈定位精确工具MySQL性能模式监控资源_MySQL瓶颈定位精确工具

    mysql性能模式通过事件记录精准定位瓶颈，核心步骤包括：1.启用并配置performance schema，选择性开启消费者和仪器；2.监控等待事件、sql语句、阶段、i/o、内存及锁等关键指标；3.分析events_waits_summary_global_by_event_name等表识别资源…

    程序猿的头像 程序猿
    2026年9月21日 • 用户投稿
    000

发表回复

登录后才能评论
关注微信