Linux文本处理uniq

Linux常用文本处理命令：uniq

对于较大的文本文件，可使用以下命令进行内容过滤、查看、排序和指标提取：

• uniq: 用于去除或报告重复行。常与sort命令结合使用，例如sort 文件名 | uniq -c可以显示每个唯一行出现的次数。

Uniq-去重

uniq命令是Linux系统中的一个非常实用的文本处理工具，主要用于去除或报告文件中的重复行。

一、基本语法

uniq命令的基本语法如下：

1

uniq [选项] [输入文件] [输出文件]

• 选项：用于控制uniq命令的行为，如显示重复次数、忽略大小写等。
• 输入文件：指定要处理的文件名。如果省略文件名，uniq将从标准输入读取数据。
• 输出文件：指定输出文件的名称。如果省略输出文件，uniq将结果输出到标准输出。

二、常用选项

uniq命令提供了多种选项以满足不同的处理需求，以下是一些常用的选项：

• -c, –count：在每行前面加上该行在文件中出现的次数。
• -d, –repeated：仅显示重复的行，每个重复组只显示一次。
• -D, –all-repeated：显示所有重复的行，包括重复的每一行。
• -f, –skip-fields=N：忽略比较前的N个字段。字段默认由空格或制表符分隔。
• -i, –ignore-case：在比较行时忽略大小写差异。
• -s, –skip-chars=N：忽略比较前的N个字符。
• -u, –unique：仅显示不重复的行。
• -w, –check-chars=N：对每行只比较前N个字符。
• -z, –zero-terminated：以NULL字符作为行的结束符，而不是换行符。

三、工作原理

uniq命令的工作原理基于输入文本行的重复性。它默认只处理相邻的重复行，即如果两行内容相同且连续出现，则被视为重复行。因此，在使用uniq命令之前，通常需要对输入文本进行排序（使用sort命令），以确保所有重复行都相邻。

四、应用实例

以下是一些uniq命令的应用实例，展示了如何使用该命令处理文本数据：

1. 去除重复行：

   1	sort file.txt | uniq

   这个命令首先对file.txt文件进行排序，然后使用uniq命令去除相邻的重复行。

2. 统计每行出现的次数：

   1	sort file.txt | uniq -c

   这个命令在去除重复行的同时，还在每行前面显示该行在文件中出现的次数。

3. 仅显示重复的行：

   1	sort file.txt | uniq -d

   这个命令仅显示文件中重复的行，每个重复组只显示一次。

4. 忽略大小写进行比较：

   1	uniq -i file.txt

   注意，这个命令要求输入文本已经是有序的，或者与sort命令结合使用。-i选项使得uniq在比较行时忽略大小写差异。

5. 忽略前N个字符进行比较：

   1	uniq -s 4 file.txt

   这个命令在比较行时会忽略每行的前4个字符。这可以用于处理具有共同前缀但需要在特定位置之后进行比较的行。

五、注意事项

• uniq命令只能处理相邻的重复行，因此在使用前通常需要对输入文本进行排序。
• uniq命令默认比较整行内容，但可以通过选项控制比较的范围（如忽略前N个字符或字段）。
• uniq命令的输出结果可能会受到输入文本排序方式的影响，因此在使用时需要注意排序的顺序和方式。