[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
batpro

Rank: 2

帖子
71 
积分
137 
技术
2  
捐助
0  
注册时间
2011-5-8 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2012-1-13 20:00 | 只看该作者

[文本处理] [已解决]批处理文件如何去除txt中出现重复的行？

a.txt中：
  1.  zzz

  2. zzz

  3. zzz

  4. fajslkjfsakdj
复制代码
生成 b.txt
  1. fajslkjfsakdj
复制代码
1

评分人数

    • CrLf: 感谢给帖子标题标注[已解决]字样PB + 2
收藏 分享

ivor

Rank: 6Rank: 6

帖子
979 
积分
3381 
技术
172  
捐助
40  
注册时间
2012-1-7 
2楼
发表于 2012-1-13 20:15 | 只看该作者
本帖最后由 ivor 于 2012-1-16 16:56 编辑 
  1. @echo off & setlocal enabledelayedexpansion

  2. for /f "delims=" %%i in (a.txt) do (

  3.         set count=0

  4.         for /f "skip=1 delims=" %%j in (a.txt) do (

  5.                 if %%i EQU %%j (

  6.                         set /a count+=1

  7.                         

  8.                 )

  9.         

  10.         )

  11.         if NOT !count! GEQ 2 echo %%i>>b.txt

  12. )
复制代码
下面的代码大幅度优化比较的速度，经测试1000行重复字符串，比上个代码快了30倍
  1. @echo off & setlocal enabledelayedexpansion

  2. 

  3. set Count=0

  4. for /f "delims=" %%i in (a.txt) do (

  5.         

  6.         call :cmp

  7.         if !Count! EQU 1 echo %%i >>b.txt

  8. 		set Count=0

  9. )

  10. 

  11. echo.已经成功执行完了 & pause>nul 

  12. goto :EOF

  13. 

  14. :cmp

  15. 

  16. for /f "skip=1 delims=" %%j in (a.txt) do (

  17.  

  18.                 if %%i EQU %%j (

  19.                         set /a Count+=1

  20.                         if !Count! EQU 2 goto :EOF

  21.                 )

  22. 			

  23. )

  24. 

  25. 		
复制代码
1

评分人数

    • CrLf: 乐于助人技术 + 1

TOP

batpro

Rank: 2

帖子
71 
积分
137 
技术
2  
捐助
0  
注册时间
2011-5-8 
3楼
发表于 2012-1-13 21:28 | 只看该作者
回复 2# ivor


    应验了那句话：“一年逛两次bathome,每次总有新发现”，bat代码真强大！

TOP

batpro

Rank: 2

帖子
71 
积分
137 
技术
2  
捐助
0  
注册时间
2011-5-8 
4楼
发表于 2012-1-13 21:30 | 只看该作者
回复 2# ivor


    谢谢！

TOP

CrLf

Rank: 8Rank: 8

帖子
6388 
积分
18843 
技术
982  
捐助
100  
注册时间
2010-10-9 
5楼
发表于 2012-1-14 00:57 | 只看该作者
回复 2# ivor


这种去除重复行的题目出现过不少次，一般推荐用 set /a ".%%a+=1" + set.|find "=1" （经典）或set %%a=. + if defined （快速）的组合或者用 sort + if %%a==!lastline!（稳妥），速度都比 for 嵌套快很多，推荐搜索一下，必有收获~
链接：在线第三方命令行工具下载   bat、vbs、js 原生混编

TOP

ivor

Rank: 6Rank: 6

帖子
979 
积分
3381 
技术
172  
捐助
40  
注册时间
2012-1-7 
6楼
发表于 2012-1-14 02:49 | 只看该作者
本帖最后由 ivor 于 2012-1-14 02:51 编辑

惭愧，谢谢版主提醒，下次多search
http://bbs.bathome.net/viewthrea ... D%D6%D8%B8%B4%D0%D0
  1. @echo off

  2. 

  3. (for /f "delims=" %%a in (1.txt) do (

  4. 

  5.    if not defined "%%a" echo %%a&set ""%%a"=a"

  6. 

  7. ))>new.txt
复制代码

TOP

find

Rank: 8Rank: 8

帖子
832 
积分
6744 
技术
42  
捐助
0  
注册时间
2012-1-4 
7楼
发表于 2012-1-16 09:26 | 只看该作者
回复 6# ivor


这个代码跟楼主的需求不符吧？

TOP

find

Rank: 8Rank: 8

帖子
832 
积分
6744 
技术
42  
捐助
0  
注册时间
2012-1-4 
8楼
发表于 2012-1-16 09:33 | 只看该作者
回复 2# ivor


pause改成goto :eof是不是更合适？

TOP

ivor

Rank: 6Rank: 6

帖子
979 
积分
3381 
技术
172  
捐助
40  
注册时间
2012-1-7 
9楼
发表于 2012-1-16 16:53 | 只看该作者
回复 9# find


    恩        确实忘了加个退出，已经补上了，谢谢

TOP

find

Rank: 8Rank: 8

帖子
832 
积分
6744 
技术
42  
捐助
0  
注册时间
2012-1-4 
10楼
发表于 2012-1-16 19:40 | 只看该作者
回复 1# batpro 
  1. gawk "{a[$0]++}END{for(i in a)if(a[i]==1)print i}" a.txt >b.txt
复制代码

TOP

Xyloebll

Rank: 1

帖子
2 
积分
13 
技术
0  
捐助
0  
注册时间
2023-5-31 
11楼
发表于 2023-5-31 20:47 | 只看该作者
回复 6# ivor

感谢大佬的代码，成功解决问题

TOP

返回列表