批处理如何去除/删除/排除重复行

shoooo · 发表于 2012-12-9 20:10:34

本帖最后由 pcl_test 于 2016-7-17 12:41 编辑

我想使用批处理去文本内重复行，但不保留，例如：
第一行：http://AABB.com/link?shareid=101154&uk=1980
第二行：http://AABB.com/link?shareid=101155&uk=1980
第三行：http://AABB.com/link?shareid=101154&uk=1980
第四行：http://AABB.com/link?shareid=101156&uk=1980

其中第一行和第三行相同，整行去掉，下一行跟上不留空行
结果如下：
第一行：http://AABB.com/link?shareid=101155&uk=1980
第二行：http://AABB.com/link?shareid=101156&uk=1980

请问要达到这个效果批处理该如何写？

batxx77 · 发表于 2012-12-9 20:32:52

来观望我也想知道哦！

weichenxiehou · 发表于 2012-12-9 21:29:40

回复 1# shoooo

@echo off
::gawk为第三方工具，需要下载
gawk "{a[$0]++;b[NR]=$0} END{for(i=1;i<=NR;i++)if(a[b[i]]==1)print b[i]}" test.txt>result.txt
start result.txt

复制代码

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 批处理如何去除/删除/排除重复行