求助坛友bat 对比2文本内容，给出相同与不同

881966

求助坛友     bat 对比包含特殊字符与超大的2文本内容，给出相同与不同

网上的基本上都参考了，始终无果，特此求助坛友，尽量不用第三方

type "a.txt" | findstr /belig:"b.txt">>相同内容.txt
type "a" | findstr /bevlig:"b.txt">不同内容.txt
type "a.txt" | findstr /bevlig:"b.txt">>不同内容.txt

以上代码可以处理无特殊字符的小文件

链接：https://pan.baidu.com/s/1sW7vsjDGth92b9r-dfAVOQ
提取码：1234

恳请坛友斧正:handshake

WHY

type "a" | findstr /bevlig:"b.txt">不同内容.txt 这一句是错误的。
看了下附件，两个文本大小都不超过3MB，13W多行，谈不上"超大"。
用 PowerShell 就可以搞定，脚本长一点而已。

保存为 Test.ps1，单击右键，选择"使用 PowerShell 运行"。

1. $myPath = $MyInvocation.MyCommand.Path -replace '\\[^\\]*$', '\';
   
2. $fileA = $myPath + 'a.txt';            #源文本A
   
3. $fileB = $myPath + 'b.txt';            #源文本B
   
4. $fSame = $myPath + '相同.txt';         #相同文本
   
5. $fDiff = $myPath + '不同.txt';         #不同文本
   
6. 
   
7. If (![IO.File]::Exists($fileA) -or ![IO.File]::Exists($fileB)){
   
8.     echo '源文件不存在';
   
9.     [Console]::ReadLine();
   
10.     exit;
    
11. }
    
12. 
    
13. $htA = New-Object System.Collections.HashTable;                               #HashTable，存放文本A数据
    
14. $htB = New-Object System.Collections.HashTable;                               #HashTable，存放文本B数据
    
15. $srA = New-Object System.IO.StreamReader($fileA, [Text.Encoding]::Default);   #读文本A
    
16. $srB = New-Object System.IO.StreamReader($fileB, [Text.Encoding]::Default);   #读文本B
    
17. $swSame = New-Object System.IO.StreamWriter($fSame, $false, [Text.Encoding]::Default); #写文件->相同
    
18. $swDiff = New-Object System.IO.StreamWriter($fDiff, $false, [Text.Encoding]::Default); #写文件->不同
    
19. 
    
20. while($srB.Peek() -ge 0){
    
21.     $strLine = $srB.ReadLine();           #逐行读文本B
    
22.     If (!$htB.ContainsKey($strLine)){
    
23.         $htB.Add($strLine, $true);        #存入HashTable
    
24.     }
    
25. }
    
26. $srB.Dispose();
    
27. $srB.Close();
    
28. 
    
29. while($srA.Peek() -ge 0){
    
30.     $strLine = $srA.ReadLine();           #逐行读文本A
    
31.     If (!$htA.ContainsKey($strLine)){
    
32.         $htA.Add($strLine, $true);        #存入HashTable
    
33.     }
    
34.     If (!$htB.ContainsKey($strLine)){
    
35.         $swDiff.WriteLine($strLine);      #写文件->不同
    
36.         $swDiff.Flush();
    
37.     } Else {
    
38.         $swSame.WriteLine($strLine);      #写文件->相同
    
39.         $swSame.Flush();
    
40.     }
    
41. }
    
42. $srA.Dispose();
    
43. $srA.Close();
    
44. $swSame.Dispose();
    
45. 
    
46. $srB = New-Object System.IO.StreamReader($fileB, [Text.Encoding]::Default);   #读文本B
    
47. while($srB.Peek() -ge 0){
    
48.     $strLine = $srB.ReadLine();
    
49.     If (!$htA.ContainsKey($strLine)){
    
50.         $swDiff.WriteLine($strLine);      #写文件->不同
    
51.         $swDiff.Flush();
    
52.     }
    
53. }
    
54. $srB.Dispose();
    
55. $srB.Close();
    
56. $swDiff.Dispose();
    
57. 
    
58. echo 'Done';
    
59. [Console]::ReadLine();

复制代码

881966

回复 2# WHY

感谢帮助 ，我的电脑不能运行PowerShell ，附件的两个文本大小只是象征性的，

Batcher

回复 1# 881966


第三方命令行工具 grep 处理大文件的效率还不错
http://bcn.bathome.net/s/tool/index.html?key=grep

1. grep -xFf 1.txt 2.txt > Same.txt
   
2. grep -vxFf 1.txt 2.txt > Diff.txt

复制代码

hfxiang

回复 4# Batcher

这个方法很简单，但有不明白之处，求解。具体如下：
测试文件1.txt及2.txt均已保存为ANSI编码，
1.txt

1. 
   
2. 203.208.39.194
   
3. 203.208.40.66
   
4. 220.181.174.226        translate.googleapis.com
   
5. #
   

复制代码

2.txt（含空行，在第3行）

1. 
   
2. 203.208.39.194
   
3. 203.208.40.66
   
4. 
   
5. translate.google.cn
   
6. #
   

复制代码

测试如下：

1. 
   
2. grep -xFf 1.txt 2.txt > Same1.txt
   
3. grep -xFf 2.txt 2.txt > Same2.txt
   
4. grep -vxFf 1.txt 2.txt > Diff1.txt
   
5. grep -vxFf 2.txt 2.txt >  Diff2.txt
   

复制代码

结果如下：
Same1.txt（正确）

1. 
   
2. 203.208.39.194
   
3. 203.208.40.66
   
4. #
   

复制代码

Same2.txt（错误）

1. 
   
2. 203.208.39.194
   
3. 203.208.40.66
   
4. 
   
5. translate.google.cn
   
6. #
   

复制代码

Diff1.txt（错误）

1. 
   
2. 
   
3. translate.google.cn
   
4. 
   

复制代码

俺的理解Diff1.txt应为

1. 
   
2. 220.181.174.226        translate.googleapis.com
   
3. 
   
4. translate.google.cn
   

复制代码

Diff2.txt（为空）（错误）
俺的理解应为

1. 
   
2. 
   
3. translate.google.cn
   
4. 220.181.174.226        translate.googleapis.com
   

复制代码

hfxiang

回复 1# 881966

如接受第3方工具gawk（ http://bcn.bathome.net/tool/4.1.3/gawk.exe ），如下指令经测试正常（结果文档中已去除重复行，但其次序可能不一定是原文件次序）

1. 
   
2. awk "NR==FNR{a[$0]++;next}a[$0]{a[$0]=0;print}" 1.txt 2.txt>Same.txt
   
3. awk "NR==FNR{a[$0]=1;next}!a[$0]++{print $0;a[$0]++}END{for(i in a)if(a[i]==1)print i}" 1.txt 2.txt>Diff.txt
   

复制代码

881966

回复 6# hfxiang


    尽量不使用第三方

Batcher

回复 5# hfxiang


不知道楼主的需求和你的理解是否一致。
不过从这个测试结果来看，grep或findstr正常得到的结果就是这样的（不同于Linux的diff命令那样的比较结果）。

881966

回复 6# hfxiang


    尽量不用第三方处理

wanghan519

回复 5# hfxiang


    我这里grep的结果没错，两个求相同的命令结果一样，求不同的两句分别是1里找不到2和2里找不到1，拼起来就是你要的结果
5楼的测试出错，因为第2第4句测试本身写错了。。。

Nsqs

不理解为什么要写那么复杂啊? 还是说我审题不清?

1. $C=(compare (gc A.txt) (gc B.txt) -IncludeEqual).Where({$_.SideIndicator -eq '=='},'split')
   
2. $arr='相同','不同'
   
3. 0..1|%{$C[$_].InputObject >"$($arr[$_]).txt"}

复制代码

Batcher

回复 3# 881966


    真实需要处理的文件大小是怎样的？