[已解决]批处理文件如何去除txt中出现重复的行？

batpro · 发表于 2012-1-13 20:00:53

a.txt中：

zzz
zzz
zzz
fajslkjfsakdj

复制代码

生成 b.txt

fajslkjfsakdj

复制代码

ivor · 发表于 2012-1-13 20:15:35

本帖最后由 ivor 于 2012-1-16 16:56 编辑

@echo off & setlocal enabledelayedexpansion
for /f "delims=" %%i in (a.txt) do (
set count=0
for /f "skip=1 delims=" %%j in (a.txt) do (
if %%i EQU %%j (
set /a count+=1
)
)
if NOT !count! GEQ 2 echo %%i>>b.txt
)

复制代码

下面的代码大幅度优化比较的速度，经测试1000行重复字符串，比上个代码快了30倍

@echo off & setlocal enabledelayedexpansion
set Count=0
for /f "delims=" %%i in (a.txt) do (
call :cmp
if !Count! EQU 1 echo %%i >>b.txt
set Count=0
)
echo.已经成功执行完了 & pause>nul
goto :EOF
:cmp
for /f "skip=1 delims=" %%j in (a.txt) do (
if %%i EQU %%j (
set /a Count+=1
if !Count! EQU 2 goto :EOF
)
)

复制代码

batpro · 发表于 2012-1-13 21:28:17

回复 2# ivor

应验了那句话：“一年逛两次bathome,每次总有新发现”，bat代码真强大！

batpro · 发表于 2012-1-13 21:30:00

回复 2# ivor

谢谢！

CrLf · 发表于 2012-1-14 00:57:07

回复 2# ivor

这种去除重复行的题目出现过不少次，一般推荐用 set /a ".%%a+=1" + set.|find "=1" （经典）或set %%a=. + if defined （快速）的组合或者用 sort + if %%a==!lastline!（稳妥），速度都比 for 嵌套快很多，推荐搜索一下，必有收获~

ivor · 发表于 2012-1-14 02:49:01

本帖最后由 ivor 于 2012-1-14 02:51 编辑

惭愧，谢谢版主提醒，下次多search
http://bbs.bathome.net/viewthrea ... D%D6%D8%B8%B4%D0%D0

@echo off
(for /f "delims=" %%a in (1.txt) do (
if not defined "%%a" echo %%a&set ""%%a"=a"
))>new.txt

复制代码

find · 发表于 2012-1-16 09:26:37

回复 6# ivor

这个代码跟楼主的需求不符吧？

find · 发表于 2012-1-16 09:33:04

回复 2# ivor

pause改成goto :eof是不是更合适？

ivor · 发表于 2012-1-16 16:53:38

回复 9# find

恩确实忘了加个退出，已经补上了，谢谢

find · 发表于 2012-1-16 19:40:03

回复 1# batpro

gawk "{a[$0]++}END{for(i in a)if(a[i]==1)print i}" a.txt >b.txt

复制代码

Xyloebll · 发表于 2023-5-31 20:47:15

回复 6# ivor

感谢大佬的代码，成功解决问题

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] [已解决]批处理文件如何去除txt中出现重复的行？

评分

评分