[已解决]批处理怎样靠CRC32校验来删除文件？

BAT-VBS · 发表于 2012-12-2 11:02:23

回复 14# weichenxiehou

空格的问题很容易，稍微改改就行了，一行代码都不用增加，看楼主的实际需求了。

ShadowFiend · 发表于 2012-12-2 11:52:51

回复 11# weichenxiehou
支持这种用法和用临时文件。300万不是小数目，考虑到效率问题，用临时文件是正确的选择。而不是所谓的"那么简单"

BAT-VBS · 发表于 2012-12-2 12:41:20

回复 17# ShadowFiend

在得到楼主的测试数据之前，都是瞎猜。

necnec1 · 发表于 2012-12-2 13:18:50

BAT-VBS  你这个批处理我估计了一下大概要5个小时太猛了
半个小时大概才整理出2万左右
我估算了一下我这个好像总共有20万左右的重复文件

weichenxiehou 的办法貌似没办法进行先将要删除的文件名输出到一个文本a.txt  我没有办法得到
再将所有文件的完整路径输出到一个文本b.txt  这个可以  我用Everything导出就可以了

还有::将下一行的crc32.txt替换为实际的文件名这一句  这个CRC32.TXT是个什么东西和 A.TXT 是什么关系要这个文件做什么？

weichenxiehou · 发表于 2012-12-2 13:39:02

回复 19# necnec1
擦，lz要不要这么可爱，那些原理是解释我批处理代码的实际运作方式的，不关你的事啊，你不是有一个存放了校验码和文件名的文本吗，把那个crc32.txt改成那个文本的真实名字就可以了。

necnec1 · 发表于 2012-12-2 13:41:49

好滴帅哥我试试

BAT-VBS · 发表于 2012-12-2 14:05:53

回复 19# necnec1

好的，你先试试11楼的方案，如果仍然太慢的话，我再用另外一个思路帮你写代码。

necnec1 · 发表于 2012-12-2 19:14:03

weichenxiehou 你那个批处理不错就是能稍微改进一下我刚测试了一下你的批处理你那个文件删的没影了能否删除到回收站重复的文件我还要还得比对一下

BAT-VBS · 发表于 2012-12-2 20:32:35

回复 23# necnec1

大概需要执行多长时间？

weichenxiehou · 发表于 2012-12-2 20:55:29

回复 23# necnec1
何必删除到回收站那么麻烦，不同的系统回收站的路径还不一样，建立一个备份文件夹，把要删除的文件移动到这里不就行了。

@echo off
md backup 2>nul
::将下一行的crc32.txt替换为实际的文件名
(for /f "tokens=1*" %%a in (crc32.txt) do (
if defined %%a (echo,%%b) else set %%a=1
))>a.txt
dir /s /b /a-d>b.txt
findstr /i /g:a.txt b.txt>c.txt
for /f "delims=" %%a in (c.txt) do move /y "%%a" backup\
del a.txt b.txt c.txt

复制代码

necnec1 · 发表于 2012-12-2 21:01:18

BAT-VBS 你的批处理我从中午12点半开始到下午的6点半执行了大概6万左右
刚开始速度还没到那种无法忍受的地步到后来几乎是越执行越慢到6点半果断放弃
如果20万的重复量的话不知道1天跑不跑的完

necnec1 · 发表于 2012-12-2 21:04:24

weichenxiehou的代码没敢用300万文件试先用4000左右的文件测试非常快用他的批处理几秒之内搞定效率不错打算今晚大规模用

necnec1 · 发表于 2012-12-2 21:10:33

300万的PDF文件数量巨大本来想用查找重复的软件弄弄结果动辄就要起码1天的时间想想放弃了想走点捷径看看批处理貌似没太好的办法结果用了一个自己都觉得恶心的办法用WINRAR来提取CRC32的校验码 300万的文件用了6个小时还凑合基本符合预期配合批处理我估计应该很快
这些要谢谢BAT-VBS 和weichenxiehou 2个兄弟大力帮忙

namejm · 发表于 2012-12-2 22:11:52

25楼的代码大致能解决问题
但是，如果环境比较复杂的话，还是会误删文件的
问题出在这一句：

findstr /i /g:a.txt b.txt>c.txt

复制代码

因为 findstr 是部分支持正则表达式的
用 /g:a.txt 从a.txt文件中获取到的字符串几乎每行都含有点号，而点号能匹配任意一个字符
形如 1.pdf 的名称是能和 1Xpdf 这样的字符串匹配的
当 b.txt 中字符串的组成规律足够复杂，出错的几率会很高
另外，从a.txt中获取到的字符串，findstr无法限定它们是否位于绝对路径的最后一层，并且不能限定之后是否包含其他字符
搜索 1.pdf 的时候，能匹配到 d:\test\11.pdf ，也能匹配到 d:\test1.pdf\a.pdf
所以，需要对a.txt中的字符串做进一步处理
当 findstr /g:a.txt 的时候，使得那些特殊字符失去正则意义而回归普通字符的含义，且能限定该字符串等于完整路径的最后一层
一个可行的办法是：
把 a.txt 中每行字符的点号用 \. 来替换，行首添加字符 ^ ，行尾添加字符$
需要用 gsed.exe 进行处理
在25楼的基础上修改如下：

@echo off
md backup 2>nul
::将下一行的crc32.txt替换为实际的文件名
(for /f "tokens=1*" %%a in (crc32.txt) do (
if defined %%a (echo,%%b) else set %%a=1
))>a.txt
gsed "s/\./\\./g;s/^/\\\\/;s/$/\$/" a.txt>b.txt
dir /s /b /a-d>c.txt
findstr /i /g:b.txt c.txt>d.txt
for /f "delims=" %%a in (d.txt) do move /y "%%a" backup\
del a.txt b.txt c.txt d.txt

复制代码

gsed 可以去这里下载：http://www.bathome.net/thread-16975-1-1.html

Batcher · 发表于 2012-12-2 22:24:10

在29楼代码的基础上，改用gawk来判断重复文件，提高效率。

@echo off
md backup 2>nul
::将下一行的crc32.txt替换为实际的文件名
gawk "{a[$1]++;if(a[$1]>1)print $2}" crc32.txt >a.txt
gsed "s/\./\\./g;s/^/\\\\/;s/$/\$/" a.txt>b.txt
dir /s /b /a-d>c.txt
findstr /i /g:b.txt c.txt>d.txt
for /f "delims=" %%a in (d.txt) do move /y "%%a" backup\
del a.txt b.txt c.txt d.txt

复制代码

gsed 可以去这里下载：http://www.bathome.net/thread-16975-1-1.html
gawk 可以去这里下载：http://www.bathome.net/thread-1114-1-1.html

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文件操作] [已解决]批处理怎样靠CRC32校验来删除文件？

评分

评分