在 Linux 操作系统中，计算非重复行对于从大型文本文件中提取唯一数据非常有用。有几种命令行工具可以用于执行此任务，本文将介绍一些最常用和有效的工具。
uniq
uniq 命令是一个强大的工具，可用于识别和移除顺序文件中相邻的重复行。它还提供各种选项来控制输出和处理重复项。要计算非重复行，请使用以下命令：
uniq -u 文件名
此命令将打印文件中所有唯一的行。如果需要跳过重复的行数，请使用 -c 选项：
uniq -c 文件名
sort
sort 命令也可以用于计算非重复行，但它需要先对文件进行排序。要使用 sort，请使用以下命令：
sort 文件名 | uniq
此命令将先对文件进行排序，然后使用 uniq 命令移除重复行。
awk
awk 是一种高级文本处理语言，非常适合此类任务。要使用 awk 计算非重复行，请使用以下命令：
awk '!seen[$0]++' 文件名
此命令将创建一个关联数组（seen），并为每个唯一行分配一个计数。只有计数为 1 的行才会打印到标准输出。
perl
perl 是一种强大的编程语言，也可以用来计算非重复行。要使用 perl，请使用以下命令：
perl -ne 'print unless $seen{$_}++;' 文件名
此命令将为每个唯一行创建一个哈希表项（seen）。只有不在哈希表中的行才会打印到标准输出。
使用 Linux 计算非重复行是一种非常有用的技术，可以帮助您从大型文本文件中提取唯一数据。本文介绍了使用 uniq、sort、awk 和 perl 轻松完成此任务的几种 。
