批处理如何删除txt中每行开头指定字符前的字符串重复出现次数超过指定次数的行？

Rasm · 发表于 2013-7-24 19:49:33

batman · 发表于 2013-7-24 20:15:26

本帖最后由 batman 于 2013-7-24 20:17 编辑

@echo off&setlocal enabledelayedexpansion
for /f "tokens=1* delims=|" %%a in (1.txt) do set /a n+=1,.%%a+=1&set "_!n!=%%a|%%b"
(for /l %%a in (1,1,%n%) do (
for /f "tokens=1* delims=|" %%b in ("!_%%a!") do if !.%%b! leq 5 echo,%%b^|%%c
))>2.txt
start 2.txt

复制代码

Rasm · 发表于 2013-7-24 21:10:21

回复 2# batman

按照你的代码，如果是超过10行删除的话是不是吧 “5” 修改为“10“就好了

batman · 发表于 2013-7-24 21:19:19

Try it, then you can understand...

Rasm · 发表于 2013-7-25 12:02:34

回复 4# batman

数据处理效率不是很好

6MB的文本，里面行数有超过32行的，处理中，就提示如图显示

xxpinqz · 发表于 2013-7-25 17:43:14

纯P，这大文本你期待多快？
|符号的前面，你有些有特殊字符吧，像空格什么的，你举的例子并未列出来...
不行把文本压缩下传到网盘，把下载地址贴出来

复制代码

Rasm · 发表于 2013-7-27 15:57:45

回复 6# xxpinqz

我处理的文件就是这样的，你看下

有时候是几万条

CrLf · 发表于 2013-7-27 18:10:35

大文本建议用第三方神器 gawk，爽爽的：

复制代码

Rasm · 发表于 2017-5-4 18:38:32

回复 8# CrLf

如果是想删除小于| 前面的重复数，该怎么修改这个代理

比如想删除小于5个|重复数，正好与你这个相反

ShowCode · 发表于 2017-5-4 19:50:28

回复 9# Rasm

以顶楼数据为例，希望得到什么结果？

Rasm · 发表于 2017-5-4 21:43:59

codegay · 发表于 2017-5-4 23:26:02

回复 10# ShowCode

你把这时间和精力用来做别的事情，会更有意义。

ShowCode · 发表于 2017-5-5 14:26:56

回复 11# Rasm

gawk -F "|" "{a[$1][n++]=$0}END{for(i in a){x=length(a[i]);if(x>=5&&x<=8){for(j in a[i])print a[i][j]}}}" 1.txt > 2.txt

复制代码

Rasm · 发表于 2017-6-7 19:28:46

回复 13# ShowCode

为什么处理结果是空的

Rasm · 发表于 2017-6-7 19:29:06

回复 8# CrLf

有些为什么不可以呢，中文的有些不行，没有筛选出来

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 批处理如何删除txt中每行开头指定字符前的字符串重复出现次数超过指定次数的行？