如何在Linux中数据去重 Linux fdupes重复查找

fdupes 是 Linux 下用于查找和删除重复文件的高效工具,通过比较文件大小和 MD5 签名识别重复内容。需通过包管理器安装,如 Ubuntu 使用 sudo apt install fdupes。基本用法为 fdupes /path/to/directory,常用选项包括 -r(递归扫描)、-S(显示大小)、-f(忽略每组首个文件)、-d(交互式删除)。推荐先预览结果再删除,避免误操作。可结合 find 限制文件类型或导出结果到文件,适用于文档、照片等去重场景。面对大量文件时性能可能受限,可考虑 fclones 或 duff 作为替代。关键步骤:先查重,再删除,确保数据安全。

如何在linux中数据去重 linux fdupes重复查找

在Linux中处理重复文件时,fdupes 是一个简单高效的命令行工具,能帮助你快速查找并删除重复文件,释放磁盘空间。它通过比较文件的大小和MD5签名来识别内容完全相同的文件,适合用于整理文档、照片、下载目录等场景。

安装 fdupes

fdupes 并非所有Linux发行版默认安装,可通过包管理器轻松获取:

Ubuntu/Debian:

sudo apt install fdupes

CentOS/RHEL(需启用 EPEL):

sudo yum install epel-release && sudo yum install fdupes

Fedora:

sudo dnf install fdupes

Arch Linux:

sudo pacman -S fdupes

基本用法:查找重复文件

使用 fdupes 最基础的命令是扫描某个目录中的重复文件:

fdupes /path/to/directory

例如,扫描家目录下的重复文件:

fdupes ~/Documents

输出会列出所有内容重复的文件组,每组文件以空行分隔。

常用选项增强功能:

-r

:递归扫描子目录

-f

:忽略一个文件组中第一个重复项(常用于删除时保留一份)

-d

:显示重复文件,并提示是否删除(交互式)

-n

:忽略空文件

-S

:显示每个文件的大小

示例:递归查找并显示文件大小

fdupes -r -S ~/Downloads

去重操作:删除重复文件

使用

-d

参数可以交互式删除重复文件,系统会保留第一个,其余可选择删除:

fdupes -rd ~/Pictures

执行后,fdupes 会列出每组重复文件,编号显示,你可以输入数字删除指定文件,或按回车保留所有。

若想自动删除所有重复项(除每组第一个外),可结合标准输入:

fdupes -r -f . | tr 'n' '' | xargs -0 rm

⚠️ 警告:此操作不可逆,请先备份重要数据或使用 -d 交互模式确认。

实用技巧与注意事项

fdupes 适合中小规模文件去重,面对大量文件时可能较慢。建议:

先用

fdupes -r path

查看结果,确认无误再执行删除 结合 find 使用,限定文件类型,如只查图片:

find ~/Pictures -type f $$ -name "*.jpg" -o -name "*.png" $$ -exec fdupes -r {} +

将结果输出到文件以便审查:

fdupes -r ~/data > duplicates.txt

如果 fdupes 性能不足,可考虑替代工具如 fclones 或 duff,它们支持更高效的去重策略。

基本上就这些。fdupes 简单直接,适合日常使用,掌握几个关键参数就能高效管理重复文件。不复杂但容易忽略的是:别忘了先预览,再删除。

以上就是如何在Linux中数据去重 Linux fdupes重复查找的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/200897.html

赞 (0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
VSCode的Emmet缩写怎么使用?
上一篇 2026年9月12日 01:57:56
如何在Java中理解类的静态成员
下一篇 2026年9月12日 02:02:10

相关推荐

  • 夸克网盘下载路径怎么修改_夸克APP文件默认保存位置设置方法

    夸克网盘下载路径怎么修改_夸克APP文件默认保存位置设置方法夸克网盘下载路径怎么修改_夸克APP文件默认保存位置设置方法夸克网盘下载路径怎么修改_夸克APP文件默认保存位置设置方法夸克网盘下载路径怎么修改_夸克APP文件默认保存位置设置方法

    可通过夸克APP设置修改默认下载路径,进入“设置-下载设置-下载路径”选择目标文件夹,实现文件集中管理。 如果您在使用夸克网盘下载文件时希望将文件保存到指定目录,而不是系统默认的存储路径,可以通过调整应用内的下载设置来实现。修改下载路径有助于更好地管理文件,避免文件分散在不同位置。 本文运行环境:华…

    2026年9月27日 • 用户投稿
    000
  • sublime怎么高亮显示匹配的括号_Sublime括号匹配高亮功能设置

    sublime怎么高亮显示匹配的括号_Sublime括号匹配高亮功能设置sublime怎么高亮显示匹配的括号_Sublime括号匹配高亮功能设置sublime怎么高亮显示匹配的括号_Sublime括号匹配高亮功能设置sublime怎么高亮显示匹配的括号_Sublime括号匹配高亮功能设置

    Sublime Text默认支持括号匹配高亮,需确认设置中启用”match_brackets”及相关选项,建议安装BracketHighlighter插件增强功能,并检查主题颜色是否影响显示效果。 Sublime Text 默认就支持括号匹配高亮,当你将光标放在一个括号(如 …

    2026年9月27日 • 用户投稿
    300
  • 使用Spring Boot构建JSON格式的算术操作POST API教程

    使用Spring Boot构建JSON格式的算术操作POST API教程使用Spring Boot构建JSON格式的算术操作POST API教程使用Spring Boot构建JSON格式的算术操作POST API教程使用Spring Boot构建JSON格式的算术操作POST API教程

    本教程将指导您如何使用Spring Boot框架创建一个接收JSON格式请求的POST API端点。该API能够根据请求中的操作类型(加、减、乘)对两个整数执行算术运算,并返回包含操作结果和指定用户名的JSON响应。文章将详细介绍如何定义数据传输对象(DTOs)、枚举类型、实现业务逻辑服务以及构建R…

    2026年9月27日 • 用户投稿
    100
  • 豆包AI怎么转换语言 豆包AI语言转换方法

    豆包AI怎么转换语言 豆包AI语言转换方法豆包AI怎么转换语言 豆包AI语言转换方法豆包AI怎么转换语言 豆包AI语言转换方法豆包AI怎么转换语言 豆包AI语言转换方法

    豆包ai切换界面语言及指定回复语言的方法如下:1. 打开豆包app或网页版,进入“设置” → “通用设置” → “语言”,选择所需语言保存即可切换界面语言;2. 提问时明确说明所需回复语言,如“请用英文回答”,或使用提示词“[en]”、“[fr]”等,ai将按要求输出对应语言。界面语言更改不影响ai…

    2026年9月27日 • 用户投稿
    100
  • Gemini可以预测超新星爆发吗 Gemini天体事件预警系统

    Gemini可以预测超新星爆发吗 Gemini天体事件预警系统Gemini可以预测超新星爆发吗 Gemini天体事件预警系统Gemini可以预测超新星爆发吗 Gemini天体事件预警系统Gemini可以预测超新星爆发吗 Gemini天体事件预警系统

    谷歌gemini 2.5在超新星爆发预测中展现出强大能力,其通过分析历史数据与实时观测信息识别关键特征,如恒星亮度变化、光谱演变和环境扰动;构建天体事件预警系统需五个步骤:1.数据收集,2.数据处理,3.模式识别,4.实时监控,5.快速响应;然而实际应用中仍面临数据质量不一、标准不统一、训练样本不足…

    2026年9月27日 • 用户投稿
    100
  • 谈谈你对Java抽象类和接口的理解,以及它们之间的区别

    谈谈你对Java抽象类和接口的理解,以及它们之间的区别谈谈你对Java抽象类和接口的理解,以及它们之间的区别谈谈你对Java抽象类和接口的理解,以及它们之间的区别谈谈你对Java抽象类和接口的理解,以及它们之间的区别

    抽象类提供共享状态和部分实现,适用于“is-a”关系;接口定义行为契约,支持多重继承,适用于“can-do”关系。 Java的抽象类和接口,在我看来,是面向对象设计中实现多态和代码复用的两大利器,但它们的设计哲学和应用场景有着本质的区别。简单来说,抽象类更像是一个“半成品”的父类,它允许你定义一些通…

    2026年9月27日 • 用户投稿
    100
  • Claude如何优化多语言翻译 Claude语言模型微调方法

    Claude如何优化多语言翻译 Claude语言模型微调方法Claude如何优化多语言翻译 Claude语言模型微调方法Claude如何优化多语言翻译 Claude语言模型微调方法Claude如何优化多语言翻译 Claude语言模型微调方法

    优化claude多语言翻译能力的核心在于理解其运作机制并结合数据与策略进行干预,主要通过提示工程和模型微调两个层面实现。1. 提示工程是第一把利器,通过提供上下文、明确指令和高质量示例提升表现,例如指定翻译风格、受众或术语处理方式,并采用少样本学习引导模型理解偏好。2. 当面对专业领域或低资源语言时…

    2026年9月27日 • 用户投稿
    200
  • win10 1909操作中心显示灰色怎么办?

    win10 1909操作中心显示灰色怎么办?win10 1909操作中心显示灰色怎么办?win10 1909操作中心显示灰色怎么办?win10 1909操作中心显示灰色怎么办?

    在使用windows 10 1909版本的过程中,有时候可能会遇到操作中心呈现灰色且无法开启的情况。这种情况可能是由于系统内部存在某些冲突导致的。为了解决这个问题,我们可以尝试通过执行干净启动来查找并修复问题,或者选择重新安装系统来彻底解决问题。接下来,让我们看看具体的操作步骤。 Windows 1…

    2026年9月27日 • 用户投稿
    300
  • LINUX怎么修改SSH服务的默认端口_LINUX SSH端口修改配置教程

    修改SSH端口可提升服务器安全。先备份/etc/ssh/sshd_config,再编辑文件启用新端口(如2222),保存后配置防火墙放行新端口,CentOS/RHEL需用semanage更新SELinux策略,重启sshd服务并测试新端口连接,确认无误后可禁用默认22端口。 修改Linux系统中SS…

    2026年9月27日
    200
  • 夸克怎么设置默认搜索引擎_夸克浏览器默认搜索工具修改方法

    夸克怎么设置默认搜索引擎_夸克浏览器默认搜索工具修改方法夸克怎么设置默认搜索引擎_夸克浏览器默认搜索工具修改方法夸克怎么设置默认搜索引擎_夸克浏览器默认搜索工具修改方法夸克怎么设置默认搜索引擎_夸克浏览器默认搜索工具修改方法

    1、打开夸克浏览器,点击右下角三横线菜单;2、进入设置→通用或搜索与浏览→搜索引擎;3、选择百度、谷歌、必应或夸克AI搜索设为默认,新标签页和地址栏将同步生效。 如果您在使用夸克浏览器时希望更改默认的搜索服务,以便每次输入关键词时自动调用您偏好的搜索引擎,可以按照以下步骤进行调整。此设置将直接影响新…

    2026年9月27日 • 用户投稿
    300
  • sublime如何设置python的flake8检查_sublime Python Flake8配置方法

    sublime如何设置python的flake8检查_sublime Python Flake8配置方法sublime如何设置python的flake8检查_sublime Python Flake8配置方法sublime如何设置python的flake8检查_sublime Python Flake8配置方法sublime如何设置python的flake8检查_sublime Python Flake8配置方法

    首先安装SublimeLinter和SublimeLinter-flake8插件,再通过pip install flake8安装工具,配置flake8可执行文件路径,保存.py文件时自动检查代码风格并显示错误,支持自定义规则。 安装 Flake8 插件 在 Sublime Text 中使用 Flak…

    2026年9月27日 • 用户投稿
    100
  • 请写一个必然会产生死锁的示例程序

    请写一个必然会产生死锁的示例程序请写一个必然会产生死锁的示例程序请写一个必然会产生死锁的示例程序请写一个必然会产生死锁的示例程序

    死锁必然发生,因代码满足互斥、持有并等待、不可抢占和循环等待四条件:线程1持lock_a等lock_b,线程2持lock_b等lock_a,形成循环依赖,导致双方永久阻塞。 死锁,在多线程编程里,它就像一个狡猾的陷阱,一旦触发,程序就会陷入无尽的等待。它不是一个“可能”发生的问题,而是在特定条件下“…

    2026年9月27日 • 用户投稿
    100
  • iPhone11Mini密码设置失败怎么办?解决小型iPhone密码设置问题

    答案:iPhone 11 Mini密码设置失败通常非硬件问题,多因系统缓存、设置限制或密码规则导致。可依次尝试重启设备、检查系统更新、关闭屏幕使用时间限制、更换密码类型、重置所有设置,最后才考虑抹掉并恢复数据。忘记密码时,官方唯一解决方式为抹掉设备并从备份恢复,强调定期备份的重要性。避免失败需保持电…

    2026年9月27日
    100
  • sublime怎么配置lua lsp_sublime Lua LSP配置教程

    sublime怎么配置lua lsp_sublime Lua LSP配置教程sublime怎么配置lua lsp_sublime Lua LSP配置教程sublime怎么配置lua lsp_sublime Lua LSP配置教程sublime怎么配置lua lsp_sublime Lua LSP配置教程

    首先安装LSP和LuaExtended插件,再安装sumneko/lua-language-server,最后在LSP设置中配置正确路径,即可实现智能提示、跳转定义等功能。 要让 Sublime Text 支持 Lua 语言的智能提示、跳转定义、自动补全等高级功能,配置 LSP(Language S…

    2026年9月27日 • 用户投稿
    200
  • sublime怎么撤销刚刚关闭的标签页_sublime关闭标签页恢复方法

    sublime怎么撤销刚刚关闭的标签页_sublime关闭标签页恢复方法sublime怎么撤销刚刚关闭的标签页_sublime关闭标签页恢复方法sublime怎么撤销刚刚关闭的标签页_sublime关闭标签页恢复方法sublime怎么撤销刚刚关闭的标签页_sublime关闭标签页恢复方法

    可通过菜单或自定义快捷键恢复关闭的标签页。首先点击File→Reopen Closed Tab,或设置Ctrl+Shift+T(Windows/Linux)/Cmd+Shift+T(macOS)快捷键执行reopen_last_closed_file命令,但仅能恢复最后一次关闭的文件,且新关闭操作会…

    2026年9月27日 • 用户投稿
    100
  • Java 中的异常体系结构是怎样的?Error和Exception有什么区别?

    Java 中的异常体系结构是怎样的?Error和Exception有什么区别?Java 中的异常体系结构是怎样的?Error和Exception有什么区别?Java 中的异常体系结构是怎样的?Error和Exception有什么区别?Java 中的异常体系结构是怎样的?Error和Exception有什么区别?

    Java异常体系以Throwable为根,分为Error和Exception:Error表示JVM无法恢复的严重问题,如OutOfMemoryError,通常不捕获;Exception表示可处理的异常,又分受检异常(如IOException,编译器强制处理)和非受检异常(如NullPointerEx…

    2026年9月27日 • 用户投稿
    200
  • 360极速浏览器手机版怎么扫描二维码_移动版扫一扫功能使用入口

    360极速浏览器手机版怎么扫描二维码_移动版扫一扫功能使用入口360极速浏览器手机版怎么扫描二维码_移动版扫一扫功能使用入口360极速浏览器手机版怎么扫描二维码_移动版扫一扫功能使用入口360极速浏览器手机版怎么扫描二维码_移动版扫一扫功能使用入口

    360极速浏览器手机版可通过搜索框二维码图标或底部工具栏“更多”按钮进入扫一扫功能,授权相机后对准二维码即可快速识别并跳转页面。 如果您需要在手机上快速扫描二维码以访问链接或获取信息,360极速浏览器手机版提供了便捷的扫一扫功能。以下是具体的操作方法和使用入口。 本文运行环境:小米14,Androi…

    2026年9月27日 • 用户投稿
    100
  • 语音转字幕+画面匹配:AI剪辑工具的核心功能揭秘

    语音转字幕+画面匹配:AI剪辑工具的核心功能揭秘语音转字幕+画面匹配:AI剪辑工具的核心功能揭秘语音转字幕+画面匹配:AI剪辑工具的核心功能揭秘语音转字幕+画面匹配:AI剪辑工具的核心功能揭秘

    语音转字幕和画面匹配的核心在于利用语音识别技术和智能分析实现字幕与画面同步。首先,选择支持自定义词库和高稳定性的语音识别工具可提升识别准确率;其次,ai通过分析画面变化、识别说话人及调整字幕位置实现精准匹配;最后,实际应用中需注意时间轴微调、多语言支持、导出格式兼容性及样式统一等细节,以确保最终效果…

    2026年9月27日 • 用户投稿
    100
  • Spring Boot 的自动配置原理是什么?(@SpringBootApplication)

    Spring Boot 的自动配置原理是什么?(@SpringBootApplication)Spring Boot 的自动配置原理是什么?(@SpringBootApplication)Spring Boot 的自动配置原理是什么?(@SpringBootApplication)Spring Boot 的自动配置原理是什么?(@SpringBootApplication)

    Spring Boot自动配置基于“约定优于配置”和“有主见但可扩展”的设计哲学,通过@SpringBootApplication注解整合@Configuration、@ComponentScan和@EnableAutoConfiguration,实现组件自动装配。其核心是@EnableAutoCo…

    2026年9月27日 • 用户投稿
    100
  • 为什么GPU驱动更新会影响游戏兼容性?

    为什么GPU驱动更新会影响游戏兼容性?为什么GPU驱动更新会影响游戏兼容性?为什么GPU驱动更新会影响游戏兼容性?为什么GPU驱动更新会影响游戏兼容性?

    驱动更新可能影响游戏兼容性与性能,主因是新功能引入或旧功能变更导致适配问题。更新后若出现画面撕裂或闪烁,应先确认使用官方驱动,再尝试回滚驱动、调整游戏设置、更新游戏版本或用DDU工具清理缓存重装。性能下降可能源于驱动优化侧重新款游戏、硬件兼容性问题或驱动自身bug,可透过官方论坛查证、测试不同驱动版…

    2026年9月27日 • 用户投稿
    100

发表回复

登录后才能评论
关注微信