plp626

如果要处理的字符没有双引号(有双引号时借助sed先用特殊字符比如中文下的特殊字符，这个花不了到少时间)
新打开一个命令行然后：

for /f "eol= delim=" %a in (tmp.txt)do @if not defined "%a" (@echo.%a>>your.txt&set "%%a=1")

echo.  >>file 的效率大概是每秒5000次，那么100万行需要200秒左右

plp626

原帖由 Kiming 于 2009-5-29 20:42 发表
@echo off
for /f "delims=" %%i in (test.txt) do (
    if not defined %%i set %%i=s & echo %%i>>result.txt)
大概需要30 s就可以了
可是这段代码我有点不理解 不知LS的道能否解释下

  if not defined %%i set %%i=s
这句就是保证单行输出的
当一个行第一次出现时，输出后给他一个赋值(随便什么数字都型)，当下次它再次出现时，因为有上次的set ...=s
所以已经是"defined"了,自然后面的echo %%i>>result.txt就不会执行了

你把 if not defined %%i set %%i=s & echo %%i>>result.txt改成

if not defined %%i （echo %%i>>result.txt&set %%i=s ) 就容易理解了(注意加上括号)

但是这个代码有bug的，上楼就没有bug了
对于开头行是;还有行内含有空格，特殊字符的<>|等的行
for /f "eol= delim=" %a in (tmp.txt)do @if not defined "%a" @(echo.%a>>your.txt&set "%a=1")
都可以解决

[ 本帖最后由 plp626 于 2009-5-30 03:42 编辑 ]

plp626

原帖由 Kiming 于 2009-5-30 07:16 发表
为什么要 set %%i=s 就不能等于别的吗
“delims=" 这是什么意思啊 delims 是想删除什么啊

可以等于别的，比如set %%i=他妈
也可以，只要不是空就行

delims=这个你看下for名的帮助信息

另外既然是超大文本行，批处理效率一定不会多高，借助三方工具。。。
这里有个帖子看看：
http://www.linuxsir.org/bbs/showthread.php?t=132848