批处理之家 » BAT求助&讨论 » 批处理如何删除txt中每行开头指定字符前的字符串重复出现次数超过指定次数的行？

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

返回列表发帖

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

1楼 跳转到 » 倒序看帖

字体大小: tT

发表于 2013-7-24 19:49 | 只看该作者

[文本处理] 批处理如何删除txt中每行开头指定字符前的字符串重复出现次数超过指定次数的行？

本帖最后由 pcl_test 于 2016-7-7 22:42 编辑

huangbaohua|1979601521huang
huangbaohua|1979601521huang
857084682|5678967890
lapo5363|466742517
sishenlaile|yytl1103
优雅先生|1986315
优雅先生|198631215
优雅先生|19812631215
优雅先生|1981231aaa6315
优雅先生|1986312342345
优雅先生|1986315
雨姬|681122
前度|19840924

我就是想吧一个文本内，“|”前的内容超过5行的内容，删除掉

如上内容优雅先生，优雅先生超过5行，就是想将优雅先生的那行内容全部删除

最好就是文本1 处理后，导出为文本2

Rank: 8 Rank: 8

帖子: 2702
积分: 14559
技术: 176
捐助: 630
注册时间: 2008-6-16

2楼

发表于 2013-7-24 20:15 | 只看该作者

本帖最后由 batman 于 2013-7-24 20:17 编辑

@echo off&setlocal enabledelayedexpansion
for /f "tokens=1* delims=|" %%a in (1.txt) do set /a n+=1,.%%a+=1&set "_!n!=%%a|%%b"
(for /l %%a in (1,1,%n%) do (
  for /f "tokens=1* delims=|" %%b in ("!_%%a!") do if !.%%b! leq 5 echo,%%b^|%%c
))>2.txt
start 2.txt
复制代码

＊＊＊共同提高＊＊＊

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

3楼

发表于 2013-7-24 21:10 | 只看该作者

回复 2# batman

按照你的代码，如果是超过10行删除的话是不是吧 “5” 修改为“10“就好了

Rank: 8 Rank: 8

帖子: 2702
积分: 14559
技术: 176
捐助: 630
注册时间: 2008-6-16

4楼

发表于 2013-7-24 21:19 | 只看该作者

Try it, then you can understand...

＊＊＊共同提高＊＊＊

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

5楼

发表于 2013-7-25 12:02 | 只看该作者

回复 4# batman

数据处理效率不是很好

6MB的文本，里面行数有超过32行的，处理中，就提示如图显示

Rank: 6 Rank: 6

帖子: 491
积分: 2671
技术: 119
捐助: 0
注册时间: 2008-11-19

6楼

发表于 2013-7-25 17:43 | 只看该作者

纯P，这大文本你期待多快？
|符号的前面，你有些有特殊字符吧，像空格什么的，你举的例子并未列出来...
不行把文本压缩下传到网盘，把下载地址贴出来

@echo off&setlocal enabledelayedexpansion
for /f "delims=|" %%a in ('sort 1.txt') do (
        set "str5=!str4!"
        set "str4=!str3!"
        set "str3=!str2!"
        set "str2=!str1!"
        set "str1=%%a"
        if "!str5!"=="!str1!" (
        	if not defined . (
        		set .=.
        		set "#=!#!/ic:"%%a^|" "
        	)
        ) else set .=
)
if defined # (findstr /v %#% 1.txt>2.txt)else copy /y 1.txt 2.txt
复制代码

初学BAT，非专业。代码不适当之处还望前辈们多多指点。在此表示感谢！

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

7楼

发表于 2013-7-27 15:57 | 只看该作者

回复 6# xxpinqz

我处理的文件就是这样的，你看下

有时候是几万条

Rank: 8 Rank: 8

帖子: 6388
积分: 18831
技术: 978
捐助: 100
注册时间: 2010-10-9

8楼

发表于 2013-7-27 18:10 | 只看该作者

大文本建议用第三方神器 gawk，爽爽的：

@gawk -F"|" "FNR!=NR&&ar[$1]<5;{ar[$1]+=1}" 1.txt 1.txt>2.txt
复制代码

1 评分人数

Rasm: 感谢您！技术 + 1

链接：在线第三方命令行工具下载 bat、vbs、js 原生混编

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

9楼

发表于 2017-5-4 18:38 | 只看该作者

回复 8# CrLf

如果是想删除小于| 前面的重复数，该怎么修改这个代理

比如想删除小于5个|重复数，正好与你这个相反

Rank: 8 Rank: 8

帖子: 511
积分: 1062
技术: 80
捐助: 298
注册时间: 2017-3-17

10楼

发表于 2017-5-4 19:50 | 只看该作者

回复 9# Rasm

以顶楼数据为例，希望得到什么结果？

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

11楼

发表于 2017-5-4 21:43 | 只看该作者

回复 10# ShowCode

huangbaohua|19796uang
huangbaohua|197960
huangbaohua|1979601521
huangbaohua|1979601
huangbaohua|191huang
857084682|5678967890
lapo5363|466742517
sishenlaile|yytl1103
优雅先生|1986315
优雅先生|198631215
优雅先生|19812631215
优雅先生|1981231aaa6315
优雅先生|1986312342345
优雅先生|1986315
雨姬|681122
前度|19840924

=================

以上数据为例，希望得到 | 前面的数值重复数在 5-8之间

如:

huangbaohua|19796uang
huangbaohua|197960
huangbaohua|1979601521
huangbaohua|1979601
huangbaohua|191huang
优雅先生|1986315
优雅先生|198631215
优雅先生|19812631215
优雅先生|1981231aaa6315
优雅先生|1986312342345
优雅先生|1986315

Rank: 6 Rank: 6

帖子: 1266
积分: 1775
技术: 162
捐助: 0
注册时间: 2015-12-12

12楼

发表于 2017-5-4 23:26 | 只看该作者

回复 10# ShowCode

你把这时间和精力用来做别的事情，会更有意义。

去学去写去用才有进步。安装python3代码存为xx.py 双击运行或右键用IDLE打开按F5运行

Rank: 8 Rank: 8

帖子: 511
积分: 1062
技术: 80
捐助: 298
注册时间: 2017-3-17

13楼

发表于 2017-5-5 14:26 | 只看该作者

回复 11# Rasm

gawk -F "|" "{a[$1][n++]=$0}END{for(i in a){x=length(a[i]);if(x>=5&&x<=8){for(j in a[i])print a[i][j]}}}" 1.txt > 2.txt
复制代码

测试代码之前请做好备份

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

14楼

发表于 2017-6-7 19:28 | 只看该作者

回复 13# ShowCode

为什么处理结果是空的

Rank: 3 Rank: 3

帖子: 202
积分: 245
技术: 0
捐助: 0
注册时间: 2010-5-25

15楼

发表于 2017-6-7 19:29 | 只看该作者

回复 8# CrLf

有些为什么不可以呢，中文的有些不行，没有筛选出来