用findstr做文本批处理去重

rack · 发表于 2014-9-8 21:35:04

找了几个用DOS做批处理去重，上了G级别大小以上的特别慢，而且有多行合并成一行的情况。
听说用findstr效果好很多，怎么做呢？

DAIC · 发表于 2014-9-8 21:58:01

听谁说的？他在胡说八道吧

rack · 发表于 2014-9-10 08:50:32

回复 2# DAIC

哦，那就是还是一样的。
我找的就是这个。后来不敢用了。
@echo off
:: 删除重复的行，但不能保留空行
:: 对不符合变量命名规则、变量个数超过限制的文本都无法正确处理
::
(echo：& echo.)>str_.txt
for /f "delims=" %%i in (a.txt) do (
if not defined %%i set %%i=A & echo %%i>>str_.txt)

DAIC · 发表于 2014-9-10 08:58:13

回复 3# rack

这个代码效率不高，处理上G的文件不靠谱。

techon · 发表于 2014-9-11 01:29:54

变量不可能无限定义，用第三方程序处理吧。。。

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 用findstr做文本批处理去重