[文本处理] [已解决]求助批处理如何实现文件查重复行？

BingjianREMIX

一个文件中有多行文本,不确定那一行与那一行相同,需要留下一行唯一的,直到文件中没有任何一行相同,这个脚本怎么搞,谢谢

qixiaobin0715

回复 1# BingjianREMIX
要善用搜索。

hfxiang

回复 1# BingjianREMIX
用第3方工具gawk（ http://bcn.bathome.net/tool/4.1.0/gawk.exe ）比较简单:

gawk "!a[$0]++" a.txt>b.txt
复制代码

Batcher

回复 1# BingjianREMIX


http://bbs.bathome.net/thread-5219-1-1.html
http://bbs.bathome.net/thread-5509-1-1.html
http://bbs.bathome.net/thread-4690-1-1.html
http://bbs.bathome.net/thread-5326-1-1.html
http://bbs.bathome.net/thread-4896-1-1.html

BingjianREMIX

感谢大佬们,已经解决了

BingjianREMIX

那大佬们帮我看看,这到底什么问题http://bbs.bathome.net/thread-66756-1-1.html

DAIC

回复 1# BingjianREMIX


去重-V1.bat

powershell "Get-Content 'Old.txt' | Sort -Unique" > "New.txt"
复制代码

DAIC

回复 1# BingjianREMIX


去重-V2.bat

powershell "$MyHash = @{}; Get-Content 'Old.txt' | ForEach-Object{if(!$MyHash.ContainsKey($_)){$_; $MyHash.Add($_ , 1)}}" > "New.txt"
复制代码