要彻底去除文件中的重复行，必须先排序再使用uniq或直接使用sort -u，因为uniq只处理相邻的重复行。1. uniq命令仅能识别并处理连续重复的行，其原理是比较当前行与前一行，若相同则视为重复；2. 对于非相邻重复行，需先通过sort命令排序使相同内容相邻，再用uniq处理，常用组合为sort data.txt | uniq；3. 更简便的方式是使用sort -u，它一步完成排序和去重；4. 若无法排序或需更灵活控制，可使用awk ‘!a[$0]++’实现全局去重，该方法利用关联数组记录已见行；5. 在实际应用中，结合grep、awk、sed等工具可完成日志分析、配置文件清理等任务，如统计独立ip数或规范化黑名单；6. uniq常用选项包括-c（显示计数）、-d（仅显示重复行）、-u（仅显示唯一行），配合管道可实现复杂文本处理。因此，掌握uniq与相关命令的组合使用是高效进行命令行数据清洗的关键。
文件去重，尤其是命令行下，
uniq
命令是把好手，但它有个特性需要特别注意：它只处理相邻的重复行。这意味着，如果你的文件里有两行内容相同，但它们中间隔着其他内容，
uniq
单独使用是无法去除它们的。要彻底去重，通常需要先用
sort
命令对文件内容进行排序，让所有相同的行都相邻，然后再通过
uniq
进行处理。
解决方案
uniq
命令的核心功能就是识别并删除输入中连续出现的重复行。它的基本用法很简单，但关键在于“连续”这个词。
假设我们有一个名为
data.txt
的文件，内容如下：
applebananaappleorangeapplebanana
如果我们直接运行
uniq data.txt
，你会发现输出没有任何变化，因为没有相邻的重复行。
# 直接使用 uniq，不会有变化uniq data.txt# 输出：# apple# banana# apple# orange# apple# banana
要真正去除所有重复行，我们通常会结合
sort
命令。
sort
会将文件内容按字母顺序（默认）排序，这样所有相同的行就会被排到一起，形成相邻的重复。
# 先排序，再通过管道传递给 uniqsort data.txt | uniq# 输出：# apple# banana# orange
这是一个非常经典的Unix哲学应用：通过管道将多个小工具组合起来，完成更复杂的任务。实际上，
sort
命令本身就有一个
-u
（或
--unique
）选项，可以直接实现排序并去重的功能，这在很多场景下会更方便。
# sort -u 是 sort | uniq 的快捷方式sort -u data.txt# 输出：# apple# banana# orange
uniq
命令的工作原理到底是什么？它为什么只处理相邻行？
说起来，我记得我刚接触Linux那会儿，对
uniq
的理解也是走了弯路，总觉得它应该能“智能”地找出所有重复行。后来才明白，它的设计哲学其实非常简洁且高效：它仅仅是比较当前行和前一行。如果这两行完全相同，那么当前行就被认为是重复的，并被忽略掉（除非你用了特定的选项，比如
-d
来显示重复行）。
这种设计并非是功能上的缺陷，而是一种性能上的考量。想象一下，如果
uniq
需要记住文件中所有出现过的行，那对于一个几十GB甚至上百GB的大文件来说，它需要消耗巨大的内存来存储一个“已见行”的集合。而只比较相邻行，
uniq
只需要维护一个指向前一行的指针或者一个很小的缓冲区，内存占用极低，处理速度飞快，尤其是在处理已经排序好的数据流时，它的效率是无与伦比的。
所以，当你看到
uniq
只处理相邻行时，不要觉得它“不够智能”，这正是它设计上的精妙之处：专注于高效处理特定类型的数据（已排序或本身就相邻重复的数据）。这种“小而精”的工具组合起来，就能完成复杂任务，这正是Unix/Linux命令行工具的魅力所在。
遇到非相邻重复行，除了
sort | uniq
还有哪些进阶处理方式？
虽然
sort -u
是处理非相邻重复行最常用且高效的方案，但在某些特定场景下，我们可能需要更灵活的工具。
降重鸟
要想效果好，就用降重鸟。AI改写智能降低AIGC率和重复率。
113 查看详情
一个非常强大的替代方案是使用
awk
命令。
awk
作为一个文本处理工具，能够基于模式匹配和字段处理来操作文本。利用
awk
的关联数组（associative array）特性，我们可以轻松实现去重，甚至可以根据行的某个特定字段来去重，而不仅仅是整行。
例如，要去除文件中所有重复的行，无论它们是否相邻，可以使用以下
awk
命令：
awk '!a[$0]++' data.txt
这条命令的解释是：
!a[$0]++
：这是
awk
的一个经典用法。
$0
代表当前行的全部内容。
a
是一个关联数组，
a[$0]
会以当前行的内容作为键。
a[$0]++
的意思是，访问
a[$0]
并将其值加1。
!
是逻辑非操作符。当
a[$0]
第一次被访问时，它的值是0（或未定义，在
awk
中会被视为0）。
0++
仍然是0，
!0
结果为真（true）。当条件为真时，
awk
会执行默认动作，即打印当前行。当同一行再次出现时，
a[$0]
的值已经大于0（例如1）。
1++
仍然是1，
!1
结果为假（false）。当条件为假时，
awk
不会执行默认动作，即不打印当前行。
这样，
awk
就通过维护一个“已见行”的集合（在
a
数组中）来实现了全局去重。这对于那些无法或不适合排序的大文件，或者需要根据复杂逻辑去重的情况，提供了极大的灵活性。
如何在实际开发中高效利用
uniq
命令进行数据清洗？
在日常的开发和运维工作中，
uniq
命令及其组合拳在数据清洗、日志分析和报告生成方面有着不可替代的地位。
日志分析中的重复事件统计：假设你有一个服务器访问日志
access.log
，里面记录了大量的IP地址。你可能想知道有多少个独立的IP访问了你的服务，或者哪些错误消息出现了多少次。
# 统计独立访问IP数量awk '{print $1}' access.log | sort -u | wc -l# 统计不同错误消息的出现次数grep "ERROR" app.log | sort | uniq -c | sort -nr# 解释：# grep "ERROR"：筛选出所有包含 "ERROR" 的行。# sort：对错误行进行排序，使相同的错误消息相邻。# uniq -c：统计相邻重复行的次数，并在每行前面加上计数。# sort -nr：再次排序，但这次是按数字（n）逆序（r）排列，这样出现次数最多的错误就会排在前面。
这种组合方式能让你快速洞察日志中的模式和异常。
配置文件或列表的去重与规范化：有时你需要维护一个列表文件，比如白名单、黑名单或者某个配置项的列表，确保其中没有重复项。
# 清理并规范化一个域名黑名单文件# 假设 blacklist.txt 中可能含有空行、重复域名，且大小写不一致cat blacklist.txt | sed '/^s*$/d' | tr '[:upper:]' '[:lower:]' | sort -u > cleaned_blacklist.txt# 解释：# sed '/^s*$/d'：删除空行（包括只包含空白字符的行）。# tr '[:upper:]' '[:lower:]'：将所有大写字母转换为小写，实现大小写不敏感去重。# sort -u：排序并去重。# > cleaned_blacklist.txt：将结果保存到新文件。
这种流程可以确保你的配置列表始终是干净且唯一的。
数据预处理阶段：在将数据导入数据库或进行进一步分析之前，去除重复记录是至关重要的一步。无论是CSV文件还是其他文本格式，
sort -u
都是一个快速有效的预处理工具。
# 去除CSV文件中的重复行（假设每行都是一条记录）sort -u input.csv > unique_records.csv
uniq
命令的一些常用选项：
-c
：在每行前面加上该行在输入中出现的次数。
-d
：只显示重复的行（即至少出现两次的行）。
-u
：只显示不重复的行（即只出现一次的行）。
结合这些选项，
uniq
不仅仅是去重，还能帮助我们进行更细致的数据分析和筛选。熟练掌握
uniq
及其与
sort
、
grep
、
awk
等命令的组合使用，能极大地提升你在命令行下处理文本数据的效率。
以上就是如何去除文件重复行 uniq命令相邻去重实战的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/439044.html
微信扫一扫 
支付宝扫一扫 
