Batcher

建议在顶楼更新帖子，说明需要处理“万行的文件”，以便他人针对你的具体情况给出合适的方案。

Batcher

@echo off
echo 一万行文本的测试结果
echo 开始时间%time%
sort a.txt>b.txt
(for /f "delims=" %%a in (b.txt) do (
  if not defined %%a (
    set "%%a=1"
  ) else (
    echo.%%a
  )
))>c.txt
findstr /x /g:c.txt a.txt>d.txt
findstr /x /v /g:c.txt a.txt>>d.txt
echo 结束时间%time%
pause
复制代码

一万行文本的测试结果 开始时间 0:16:46.42 结束时间 0:16:55.21 Press any key to continue . . .

Batcher

感谢提醒。
没有重复行的时候，c.txt依然会生成，只不过为空而已。
干脆屏蔽算了。

@echo off
echo 一万行文本的测试结果
echo 开始时间%time%
sort a.txt>b.txt
(for /f "delims=" %%a in (b.txt) do (
  if not defined %%a (
    set "%%a=1"
  ) else (
    echo.%%a
  )
))>c.txt
findstr /x /g:c.txt a.txt>d.txt 2>nul
findstr /x /v /g:c.txt a.txt>>d.txt 2>nul
echo 结束时间%time%
pause
复制代码

Batcher

1、如果重复内容过多，势必会有大量的变量产生，占用的内存将飙升——虽然目前上G的内存已成主流，但是，这上G的内存不应该只被自己的程序使用，而应该留出足够的内存给其他程序运行，大量命名变量乃编程大忌，当然，如果你只求结果而不管过程，或者并没有做程序员的想法，则可以忽略这一条；

这一条是不能忽略的，因为批处理是不允许无限制地定义变量的。
http://technet.microsoft.com/en-us/library/bb490954.aspx
The maximum individual environment variable size is 8192bytes.
The maximum total environment variable size for all variables, which includes variable names and the equal sign, is 65,536KB.

用顶楼的数据测试batcher的代码，发现4444这两行内容并没有在一起，原因有二：

感谢提醒，代码更改如下：

@echo off
echo 一万行文本的测试结果
echo 开始时间%time%
cd.>>a.txt
sort a.txt>b.txt
(for /f "delims=" %%a in (b.txt) do (
  if not defined %%a (
    set "%%a=1"
  ) else (
    echo.%%a
  )
))>c.txt
findstr /x /g:c.txt b.txt>d.txt 2>nul
findstr /x /v /g:c.txt b.txt>>d.txt 2>nul
echo 结束时间%time%
pause
复制代码