[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
返回列表 发帖
649918043

Rank: 1

帖子
41 
积分
26 
技术
0  
捐助
0  
注册时间
2014-3-1 
1楼 跳转到 » 倒序看帖
打印
tT
发表于 2014-8-23 21:21 | 只看该作者

[文件操作] 批处理怎么对比文件夹下包括子目录下的文件相同的判断，MD5值？

本帖最后由 649918043 于 2014-8-23 23:41 编辑

问下怎么对比文件夹下包括子目录下的文件相同的判断，最好以MD5值来判断，他们有的文件名不一样，

还有个问题就是 某文件夹下包括子目录的文件，，TXT怎么整理重复行，我用gawk.exe第三方最多只可整理600MB的文本重复行，请教下这样的情况用什么，因该怎么写


这个批处怎么写，麻烦给个例子
收藏 分享

DAIC

Rank: 8Rank: 8

帖子
2874 
积分
7021 
技术
336  
捐助
0  
注册时间
2011-6-2 
2楼
发表于 2014-8-23 22:52 | 只看该作者
整理重复是什么意思？
请给出原始文本内容、你希望得到的结果、你现在的gawk完整命令
sed.exe  gawk.exe  grep.exe  下载地址

TOP

649918043

Rank: 1

帖子
41 
积分
26 
技术
0  
捐助
0  
注册时间
2014-3-1 
3楼
发表于 2014-8-23 22:58 | 只看该作者
重复行~~~~~~~~~~~~

TOP

649918043

Rank: 1

帖子
41 
积分
26 
技术
0  
捐助
0  
注册时间
2014-3-1 
4楼
发表于 2014-8-23 22:59 | 只看该作者
整理重复行的意思

TOP

649918043

Rank: 1

帖子
41 
积分
26 
技术
0  
捐助
0  
注册时间
2014-3-1 
5楼
发表于 2014-8-23 23:11 | 只看该作者
gawk "!a[$0]++"<888.txt>1.txt
只可以整理重复行最多500MB多不到600

TOP

CrLf

Rank: 8Rank: 8

帖子
6388 
积分
18831 
技术
978  
捐助
100  
注册时间
2010-10-9 
6楼
发表于 2014-8-24 22:48 | 只看该作者
用 md5 的话，可以这样：
  1. hash /s /f /d:"你的路径" /format:"%s|%s|%s\r\n",md5,attrib,string *.txt | sort
复制代码
然后判断相邻行是否重复就行
使用第三方工具 hash.exe，下载地址：http://bbs.bathome.net/thread-30609-1-1.html
链接：在线第三方命令行工具下载   bat、vbs、js 原生混编

TOP

649918043

Rank: 1

帖子
41 
积分
26 
技术
0  
捐助
0  
注册时间
2014-3-1 
7楼
发表于 2014-8-25 12:30 | 只看该作者
回复 6# CrLf


麻烦解释下好吗？？？运行了，，一直没反映，，

TOP

CrLf

Rank: 8Rank: 8

帖子
6388 
积分
18831 
技术
978  
捐助
100  
注册时间
2010-10-9 
8楼
发表于 2014-8-25 15:30 | 只看该作者
回复 7# 649918043


hash /s /f /d:"你的路径" /format:"%s|%s|%s\r\n",md5,attrib,string *.txt
将 "你的路径" 和其子目录下所有 txt 文件逐行读入，输出 md5值|来源文件|当前行内容
把这句的输出用 sort 排序后，可以直接判断相邻行的 md5 值是否相同来找出相同行
链接：在线第三方命令行工具下载   bat、vbs、js 原生混编

TOP

649918043

Rank: 1

帖子
41 
积分
26 
技术
0  
捐助
0  
注册时间
2014-3-1 
9楼
发表于 2014-8-28 14:48 | 只看该作者
回复 8# CrLf 3


运行不了  提示好象要输入一个 最大值，，，好象是输出的 什么最大值，，怎么写成或者TXT   这个因该怎么写

TOP

返回列表