批处理之家 » BAT求助&讨论 » [已解决]批处理怎样查找TXT文本中的重复语句并导出重复？

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

返回列表发帖

Rank: 3 Rank: 3

帖子: 134
积分: 232
技术: 0
捐助: 0
注册时间: 2012-9-21

1楼 跳转到 » 倒序看帖

字体大小: tT

发表于 2012-9-24 10:21 | 只看该作者

[文本处理] [已解决]批处理怎样查找TXT文本中的重复语句并导出重复？

多谢楼下2位大大！

如何在TXT文本中查找重复的语句（同一行的重复）
示例：

……
不可思议→不可思议
暴殄天物→暴殄天物
……
复制代码

左边跟右边重复了，数量一多，找起来就麻烦了，可以用批处理查找并导出重复来吗？

1 评分人数

Batcher: 感谢给帖子标题标注[已解决]字样PB + 2

Rank: 5 Rank: 5

帖子: 766
积分: 1451
技术: 117
捐助: 0
注册时间: 2010-5-12

2楼

发表于 2012-9-24 10:31 | 只看该作者

@echo off
(for /f "tokens=1-2 delims=+" %%a in (1.txt) do if "%%a" == "%%b" echo %%a)>2.txt
pause
复制代码

http://demon.tw

Rank: 3 Rank: 3

帖子: 134
积分: 232
技术: 0
捐助: 0
注册时间: 2012-9-21

3楼

发表于 2012-9-24 13:34 | 只看该作者

回复 2# Demon

好像不行……

Rank: 8 Rank: 8

帖子: 6388
积分: 18837
技术: 980
捐助: 100
注册时间: 2010-10-9

4楼

发表于 2012-9-24 18:32 | 只看该作者

回复 3# 每天几分

把代码中的 "tokens=1-2 delims=+" 改成 "tokens=1-2 delims=→"

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

Rank: 8 Rank: 8

帖子: 6388
积分: 18837
技术: 980
捐助: 100
注册时间: 2010-10-9

5楼

发表于 2012-9-24 19:58 | 只看该作者

本帖最后由 CrLf 于 2012-9-24 20:50 编辑

学 powerbat 的：

@set @n=0//&cscript -nologo -e:jscript "%~f0"<1.txt &pause&exit/b
while (!WScript.StdIn.AtEndOfStream) {
  f = WScript.StdIn.ReadLine();
  if (f.search(/(....)→\1/)<0){WScript.Echo(f)}
}
复制代码

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

Rank: 3 Rank: 3

帖子: 134
积分: 232
技术: 0
捐助: 0
注册时间: 2012-9-21

6楼

发表于 2012-9-24 21:41 | 只看该作者

回复 5# CrLf

哦，那请问，上下行的重复，或隔行的重复能找到吗？

Rank: 8 Rank: 8

帖子: 2339
积分: 9739
技术: 475
捐助: 0
注册时间: 2008-2-25

7楼

发表于 2012-9-24 22:17 | 只看该作者

@echo off & setlocal enabledelayedexpansion
for /f "tokens=1-2 delims=→" %%a in ('sort 1.txt') do (
    if "%%a" == "%%b" echo %%a
    if "%%a" == "!str!" echo %%a
    set str=%%a
)
pause
复制代码

1 评分人数

Batcher: 乐于助人技术 + 1

Rank: 3 Rank: 3

帖子: 134
积分: 232
技术: 0
捐助: 0
注册时间: 2012-9-21

8楼

发表于 2012-9-24 22:35 | 只看该作者

回复 7# terse

谢谢！这样好多了。