netbenton

处理6W行记录花了2分多钟，100W就不敢试了！大概要一个多小时吧！
源文件为：sour2.txt
处理结果为：temp3.txt
可完成两个要求。

@echo off&setlocal enabledelayedexpansion
(for /f "delims=" %%a in (sour2.txt) do (
        set/a n+=1
        set num=000000!n!
        echo !num:~-7!-%%a
))>temp.txt
::加入序号保持原来的顺序

(for /f "tokens=1,2,3* delims=-" %%a in ('sort temp.txt /+8') do (
        if "%%b-%%c" neq "!var!" (echo %%a-%%b-%%c-%%d)
        set var=%%b-%%c
))>temp2.txt
::从第8位开始排序，即只按原来的数据排序，重复的丢弃

(for /f "tokens=1,2,3* delims=-" %%a in ('sort temp2.txt') do (
echo %%b----%%c----%%d
))>temp3.txt
::恢复原来的顺序，并丢弃加入的临时序号
复制代码

把楼主的数据存为sour.txt， 通过下面代码生成的sour2.txt具有6W行记录。

 
@echo off
(for /f "delims=" %%a in (sour.txt) do (
for /l %%b in (1,1,10000) do (echo %%a)
))>sour2.txt
复制代码

[ 本帖最后由 netbenton 于 2009-5-29 17:51 编辑 ]

netbenton

一个cmd最大可以使用内存为64M，除去一些系统和BAT程序本身占用，应该有60M可以给变量使用，所有字符是以字为单元，一变量定义就算只有：一个字变量名，一个等号，一个字符值，一个分隔符，最少要占4个字的空间，也就是说以最小的变量定义计算，只可以定义：60/2/4=7.5M个变量
如果这100W行中只有少数几行是重复的话，就要定义近100W个变量，相当一1M个变量，可是如果定义的变量名平均超过28个字符的话，无疑就会溢出。就此题来说用定义变量判断重复的方法，出错的可能性有一半。
还有一点，当定义的变量数量过大时，系统去搜索变量名也是需要时间的。
我曾经做过这种测试，就是不停的定义变量，看一个cmd到底能定义多少个变量。
最后是定义到该cmd进程序占用40多M内存时就不耐烦了，等待了好长时间，越是到最后就越慢。