答案：在Linux中去除重复行最有效的方法是结合sort和uniq命令。由于uniq只能去除相邻的重复行，因此必须先使用sort命令将相同内容的行聚集在一起。例如，执行sort data.txt | uniq可实现完整去重，等效的简洁写法为sort -u data.txt。此外，uniq支持多种参数扩展功能：-c统计行出现次数，-d仅显示重复行，-u仅显示唯一行，-i忽略大小写，-f跳过前N个字段，-s跳过前N个字符。对于大文件，可通过sort -S指定内存缓冲区或-T指定临时目录优化性能。超大规模数据建议使用Spark、Hadoop或数据库的DISTINCT功能。
在Linux中去除重复行，最核心且常用的工具是
uniq
命令。不过，单独使用
uniq
往往不够，因为它只处理“相邻”的重复行。所以，真正的实战中，你几乎总是会把它和
sort
命令结合起来使用，先排序让所有相同的行聚在一起，然后再交给
uniq
去重。这就像是先整理好一堆乱七八糟的纸张，再把重复的挑出来。
解决方案
要高效地在Linux中去除文件中的重复行，最经典的组合拳就是
sort
和
uniq
。
假设你有一个名为
data.txt
的文件，内容如下：
applebananaappleorangebananagrape
基本去重：
如果你直接对
data.txt
使用
uniq data.txt
，你会发现它并不能完全去除所有重复的行，因为它只会去除连续出现的重复行。比如，上面的文件，
uniq
处理后可能还是：
applebananaappleorangebananagrape
这是因为第一个
apple
和第二个
apple
之间隔着一个
banana
，它们不相邻。
所以，正确的做法是先用
sort
命令将文件内容排序，让所有相同的行都紧挨着，然后再通过管道符
|
将排序后的结果传递给
uniq
。
sort data.txt | uniq
执行这个命令后，输出会是：
applebananagrapeorange
这就达到了我们想要的效果。
如果你想直接将去重后的结果保存到新文件，可以这样：
sort data.txt | uniq > unique_data.txt
一个更简洁的技巧：
其实，
sort
命令本身就有一个
-u
（或
--unique
）选项，可以直接在排序的同时去除重复行，省去了再接
uniq
的步骤。我个人平时更喜欢用这个，因为它更直观，少敲一个命令。
sort -u data.txt
这个命令会得到和
sort data.txt | uniq
完全一样的结果。选择哪个，看个人习惯和场景吧。有时为了展示每一步，我会分开写
sort | uniq
，但实际操作中
sort -u
效率上没啥区别，而且更简洁。
uniq
到底是怎么工作的？它和
sort
有什么关系？
说实话，第一次接触
uniq
的时候，我也曾疑惑它为什么不直接把所有重复的都去了。后来才明白，它的设计哲学其实很简单：只关注“当下”和“过去”。具体来说，
uniq
命令在处理输入时，会逐行读取，并且只会将当前行与它紧邻的前一行进行比较。如果这两行内容完全相同，那么当前行就会被丢弃；如果不同，当前行就会被输出。
这就是为什么我前面强调它只能处理“相邻”重复行的原因。举个例子，如果你的文件是这样：
catdogcatcatbird
当你直接
uniq
它时，输出会是：
catdogcatbird
你看，第二个
cat
和第三个
cat
是相邻的，所以第三个
cat
被去掉了。但第一个
cat
和第二个
cat
之间隔着
dog
，它们不相邻，所以
uniq
不会认为第二个
cat
是第一个
cat
的重复。
知海图Chat
知乎与面壁智能合作推出的智能对话助手
157 查看详情
这就是
sort
登场的原因了。
sort
命令的任务就是把文件中的所有行按照一定的规则（默认是字典序）进行排列。当所有相同的行都被
sort
安排得紧紧挨在一起时，
uniq
的工作就变得异常简单和高效了。它只需要机械地检查相邻行，就能完美地完成去重任务。可以说，
sort
为
uniq
创造了理想的工作环境。它们俩简直就是天作之合，一个负责整理，一个负责清理。
除了简单去重，
uniq
还能做些什么？常见参数解析
uniq
命令可不是个“傻大个”，它还有一些很实用的参数，能让它在数据分析中发挥更大的作用。这些参数能帮助我们不仅仅是去重，还能统计、筛选。
-c
(count)：统计重复行出现的次数这个参数我用得特别多。它会在每行前面加上该行出现的次数。这对于分析数据中哪些项出现频率最高非常有用。
sort data.txt | uniq -c
对于
data.txt
(apple, banana, apple, orange, banana, grape)，输出会是：
2 apple 2 banana 1 grape 1 orange
可以看到，
apple
和
banana
各出现了两次。
-d
(duplicated)：只显示重复的行如果你只想知道哪些行是重复的（并且只显示一次），而不是所有唯一的行，
-d
就派上用场了。
sort data.txt | uniq -d
输出：
applebanana
它只会列出那些在原始文件中出现过多次的行，每行只显示一次。
-u
(unique)：只显示不重复的行与
-d
相反，
-u
会只显示那些在文件中只出现过一次的行。
sort data.txt | uniq -u
输出：
grapeorange
这对于找出文件中真正的“独一份”数据很有帮助。
-i
(ignore-case)：忽略大小写在比较行时，忽略字母的大小写。这在处理用户输入或不规范数据时非常实用。
# 假设文件内容有 Apple 和 applesort -f data.txt | uniq -i
注意，这里
sort
也用了
-f
来进行大小写不敏感的排序，否则
uniq -i
可能会因为排序问题而漏掉一些去重。
-f N
(skip-fields)：跳过前N个字段这个参数在处理结构化数据时非常强大。它会忽略每行的前 N 个字段进行比较。字段默认由空格分隔。
# 假设文件内容是：# 2023-01-01 apple# 2023-01-02 banana# 2023-01-03 apple# 2023-01-04 bananasort -k 2,2 file_with_dates.txt | uniq -f 1
这里
sort -k 2,2
是按第二个字段排序，然后
uniq -f 1
忽略第一个字段（日期）进行去重。
-s N
(skip-chars)：跳过前N个字符与
-f
类似，但它是跳过前 N 个字符，而不是字段。
# 假设文件内容是：# ID12345_dataA# ID12345_dataB# ID67890_dataAsort file.txt | uniq -s 6 # 忽略前6个字符（"ID12345_"）
这在处理有固定前缀但后缀不同的数据时很有用。
这些参数的组合使用，能让
uniq
变得非常灵活，远不止简单的去重那么单调。
遇到大文件去重，性能和内存是挑战吗？有没有更高效的办法？
当处理非常大的文件，比如几十GB甚至TB级别的文件时，
sort | uniq
组合确实会面临一些挑战。这主要是因为
sort
命令在处理大文件时，如果文件内容无法完全加载到内存中，它会使用磁盘作为临时存储空间（所谓的“外部排序”）。这意味着大量的磁盘I/O操作，这会显著降低处理速度。此外，如果你的系统内存不足，
sort
可能会频繁地在内存和磁盘之间交换数据，进一步拖慢速度。CPU的负担也会相应增加。
所以，对于超大文件，我们确实需要考虑一些更高效或者说更适合大规模数据处理的策略：
优化
sort
命令本身：
增加内存缓冲区：
sort
有一个
-S
参数可以指定排序时使用的内存大小。例如
sort -S 2G file.txt | uniq
会告诉
sort
使用2GB内存进行排序。如果你的系统有足够的空闲内存，适当增加这个值可以减少磁盘I/O。指定临时目录：
sort
默认在
/tmp
目录创建临时文件。如果
/tmp
目录所在的磁盘速度较慢，或者空间不足，你可以通过
-T
参数指定一个更快、空间更大的临时目录，比如
sort -T /mnt/ssd_temp -u large_file.txt
。
分块处理（如果可行）：如果你的数据可以逻辑上分成多个独立的部分，并且去重可以在每个部分内独立进行，最后再合并去重，那么可以考虑分块处理。但这通常比较复杂，需要自定义脚本来管理。对于通用的去重场景，这不常见。
使用专门的大数据工具：对于真正意义上的“大数据”，比如TB级别的文件，传统的命令行工具可能会力不从心。这时候，更专业的工具或平台会是更好的选择：
Apache Spark/Hadoop： 这些分布式计算框架天生就是为处理大规模数据而设计的。它们可以将数据分散到多台机器上并行处理，去重只是它们众多功能中的一个。如果你已经在使用这些平台，那么使用它们内置的去重功能（如Spark RDD/DataFrame的
distinct()
方法）会比在单机上折腾
sort | uniq
高效得多。数据库系统： 如果数据最终要存储在数据库中，那么直接将数据导入数据库（比如PostgreSQL, MySQL, MongoDB等），然后利用SQL的
DISTINCT
关键字或者创建唯一索引来去重，也是一个非常高效且可靠的方法。
哈希表/Bloom Filter（针对特定场景）：对于某些场景，如果你只需要知道某个元素是否“可能”存在，或者可以容忍极低的误判率，那么可以考虑使用Bloom Filter。它是一种空间效率很高的数据结构，可以快速判断一个元素是否在集合中。但它不能提供精确的去重，也无法直接输出去重后的文件。这更多是理论上的优化，实际命令行操作中很少直接用到。
总的来说，对于大多数日常工作和文件大小在几GB到几十GB的范围，
sort -u
或者
sort | uniq
配合适当的内存和临时目录优化，仍然是Linux下最简单、最直接且相当高效的去重方案。只有当文件规模达到“大数据”级别，并且单机性能成为瓶颈时，才需要考虑更复杂的分布式解决方案。别小看这些命令行工具，它们在设计上其实考虑到了很多性能问题，远比我们想象的要健壮。
以上就是如何在Linux中去除重复行 Linux uniq相邻去重实战的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/803984.html
微信扫一扫 
支付宝扫一扫 
