如何提高批处理删除重复内容文本的效率？

playinthesky · 发表于 2013-3-11 22:54:58

多个文本内有重复的字符，我设定一旦有重复的，就将其所含内容的整个文本删除，但是效率非常低下，1000个txt文档，就需要好几分钟。而我这里有上万个，求高手能否改进？

@echo off&setlocal enabledelayedexpansion
for %%a in (*.txt) do (
for /f "usebackq delims=. tokens=2,*" %%b in (%%a) do (
set "str=%%b"
set "str=!str: =!"
for %%i in (!str!) do (
set/a _%%i+=1
if !_%%i! gtr 2 echo %%a>>1.txt 2>nul
)
set _%%i=
)
)
pause

复制代码

我这里写的是读入 1.txt

然后在读入的内容中发现

33303564545.txt
33303564545.txt
33303564545.txt
33303564545.txt
999999999999999.txt
999999999999999.txt
999999999999999.txt

以上是ECHO出来的，就是条件循环判断正确的，就其删除，但是会出现好几次，有上万个这样的文件，所以我想先写入一个文本，然后再根据文本上的地址删除，不知道有没有更加高效的方法，做到可以让删除的提示不出现那么多次，2>NUL 只是假象。。

意思就是换成 DEL 里面的路径文件，依旧效率不高，最好能只显示一次，然后一次性删除，不符合条件的文本。因为有上万个，希望能高效一点，求好心人解决！

运行是正常的，就是效率很低下。。

playinthesky · 发表于 2013-3-11 23:13:53

通过在BATHOME的学习，慢慢的学会写代码，希望大家再帮帮我，自己顶一下。

playinthesky · 发表于 2013-3-11 23:16:38

因为批处理每个都要历遍，但是为什么删除的时候，循环要检查好几次？

wankoilz · 发表于 2013-3-11 23:30:09

这种情况，上万个文件用纯批来处理估计有点慢哦

terse · 发表于 2013-3-11 23:32:33

这样提高点不

@echo off&setlocal enabledelayedexpansion
(for %%i in (*.txt) do (
set "a="
for /f "delims=" %%j in ('sort "%%i"') do (
if not defined a (
if "!str!" == "%%j" set a=a&echo del "%%i"
set "str=%%j"
)
)
))>$.#
start "" "notepad" "$.#"
pause

复制代码

playinthesky · 发表于 2013-3-11 23:35:39

回复 5# terse

我那个是有格式的，所以必须按照上面的那种分隔符来，我去试试看！最最主要上万个。。

playinthesky · 发表于 2013-3-11 23:36:59

回复 5# terse

是加在最后？对么？试试看！

terse · 发表于 2013-3-11 23:47:55

回复 terse

我那个是有格式的，所以必须按照上面的那种分隔符来，我去试试看！最最主要上万个。 ...
playinthesky 发表于 2013-3-11 23:35

有固定格式的话把第二FOR 替换这样试

for /f "tokens=2 delims=." %%j ..........

复制代码

playinthesky · 发表于 2013-3-11 23:56:08

回复 8# terse

超级高！！！非常快！！！谢谢高手，那我就是要那个文本文件改写成.BAT就可以吧？可不可以直接一点的。。

CrLf · 发表于 2013-3-11 23:59:35

纯批的话我会这样：

@echo off
findstr . *.txt|sort /o tmp.$
(for /f "tokens=1* delims=:" %%a ni (tmp.$) do (
set "str=%%a"
setlocal enabledelayedexpansion
if !last!==!str! del "%%a"
endlocal
set last=%%a
)) 2>nul
pause

复制代码

playinthesky · 发表于 2013-3-11 23:59:52

本帖最后由 playinthesky 于 2013-3-12 00:07 编辑

回复 8# terse

我想加入计数器，在第二个FOR里面，重复内容5个以上的时候，删除文本，你的这个版本真心好！

playinthesky · 发表于 2013-3-12 00:01:04

回复 10# CrLf

是纯批处理，可不可以加入一个计数器，等到重复到一定个数的时候删除？求教。

playinthesky · 发表于 2013-3-12 00:03:11

回复 5# terse

高手，加个计数器，等到重复两个或者三个的时候，直接删除。谢谢

playinthesky · 发表于 2013-3-12 00:05:23

回复 5# terse

重复的数量上有限定要求，加入计数器在哪里比较好？

CrLf · 发表于 2013-3-12 00:19:22

本帖最后由 CrLf 于 2013-3-12 00:39 编辑

文件又多又大的话，用 vbs 会快很多

Const [路径]="." '这里设置路径
Const [重复次数]="1" '代表重复达到多少次就删除
Set fso = CreateObject("scripting.filesystemobject")
For Each file In fso.GetFolder([路径]).Files
If LCase(fso.GetExtensionName(file)) = "txt" Then
If reTest(fso.OpenTextFile(file).ReadAll) Then
file.Delete
End If
End If
Next
Function reTest(text)
Set re = New RegExp
re.Global = True
re.Pattern = "\n(\S+)(?:(?:\n.*)?\n\1){" & [重复次数] & ",}\n"
reTest = re.Test(vbCrLf & text & vbCrLf)
End Function

复制代码

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 如何提高批处理删除重复内容文本的效率？

评分