文件如何去除重复的行

在日常工作做，我们会出现以下工作场景，拿到一个文件，这个文件里面会有很多行数据，但是这些数据会有很多重复的情况，如果人工一个个去除那么就特别麻烦，有没有可以一键去处文件中重复的行呢，答案是有的，快来一起学习一下吧！

文本文件去除重复的行方法有很多种，小编这里为大家介绍两种方法：

第一种方法，去重工具

下载文本文件去重工具：

1、TXT文本行去重工具 v1.0绿色版

2、txt文本删除重复行工具 v2.0

3、海鸥txt文本删除重复行 v3.8

4、txt文本删除重复行 v1.6

需要注意以上工具可能需要GB2312的文本编辑格式，否则会出现乱码的情况

第二种，支持正则的编辑器

我们这里使用notepad++作为编辑器为大家演示一遍如何使用正则进行去重

notepad++下载：代码编辑器(Notepad++) v8.1.4最新中文版

第一步：打开notepad++后，使用ctrl+f打开替换弹窗

第二部：在弹窗中找到“替换”然后在“查找目标（F）”中输入 ^(.*?)$\s+?^(?=.*^\1$) 替换为（L）选择空，在底部的查找模式选择“正则表达式（G）”

最后点击“全部替换（A）”就可以替换全部的重复行了，非常方便。