unix工具从文件中删除重复的行

我有一个工具来生成测试并预测输出.这个想法是,如果我失败了,我可以将预测与实际产出进行比较,看看它们在哪里分歧.问题是实际输出包含一些行两次,这混淆了diff.我想删除重复项,以便我可以很容易地比较它们.基本上,像sort -u,但没有排序.

有没有可以做到这一点的unix命令行工具?

uniq(1)

概要

uniq [OPTION]… [INPUT [OUTPUT]]

描述

Discard all but one of successive identical lines from INPUT (or standard input),writing to OUTPUT (or standard output).

或者,如果你想删除不相邻的重复行,那么这个片段的perl将会这样做:

while(<>) {
    print $_ if (!$seen{$_});
    $seen{$_}=1;
}

相关文章

普通模式 >G 增加当前行到文档末尾处的缩紧层级 $ 移动到本行的末尾 . 相当于一个...
原文连接: https://spacevim.org/cn/layers/lang/elixir/ 模块简介 功能特性 启用模块 快捷键 语言专属...
原文连接: https://spacevim.org/cn/layers/lang/dart/ 模块简介 功能特性 依赖安装及启用模块 启用模...
 =   赋值操作符,可以用于算术和字符串赋值 +        加法计算     -        减法运算...
1.根据包名来查看指定的APP指定数据 adb shell "top | grep com.xxx.xxx" 由于这样打印出来的数...
ctrl+F 向下翻页 ctrl+B 向下翻页 u 取消最近一次操作 U 取消当前行的操作 ZZ 保存当前内容并退出 gg 跳...