aloha20200628

采用变量字典的去重方案有几点注意，虽是老调重弹，但用于大数据场合依然有限》
一。单个文件行数限制
二。单行字符长度限制
三。文本行皆为a-zA-Z字母时，变量字典定义因不区分大小写而失误

@echo off
for /f "delims=" %%a in ('dir /b/a-d *.txt') do (
	setlocal enabledelayedexpansion
	(for /f "usebackq delims=" %%i in ("%%~a") do if not defined _%%i (
		set "_%%i=1" &echo,%%i))>"%%~a.new"
	endlocal
)
复制代码

aloha20200628

变量名字典采用前缀 _ 或 $ 或 # 等字符乃是一种防空对策，一旦遭遇文本行皆为空格时，set   =... 就会出现问题。
另提示17楼》循环体内的外部程序被频繁调用会导致运行效率明显滑坡，尤其是要管控内层循环，其效应是倍增的...

aloha20200628

如果实际应用场合没有那么多纯P的'天敌'，变量名字典真是纯P代码得以如此轻快的一个好方法。
再给一个jscript+纯P混编的版本（存盘为.cmd或.bat文件），但愿能助纯P一臂之力...

@set @v=1 /*
@echo off
::当前目录（不含子目录）下所有*.txt文件去重
dir /b/a-d *.txt>"tmp.all"
cscript /e:jscript "%~f0" "tmp.all"
del /q "tmp.all"
exit/b
*/
var v = WSH.arguments;
var fso = new ActiveXObject('scripting.filesystemobject');
var fp = fso.opentextfile(v(0));
var strline = fp.readall(); fp.close();
var alllines = strline.split('\r\n');
while (alllines[alllines.length-1] == '') alllines.length--;
for (var n=0, nmax=alllines.length; n<nmax; ++n) {
	var txtF = alllines[n].replace(/\r\n/g, '');
	fp = fso.opentextfile(txtF);
	strline = fp.readall(); fp.close();
	var _strline = '\r\n', _alllines = strline.split('\r\n');
	while (_alllines[_alllines.length-1] == '') _alllines.length--;
	for (var k=0, kmax=_alllines.length; k<kmax; ++k) {
		if (_strline.indexOf('\r\n'+_alllines[k]+'\r\n') == -1)
			_strline += _alllines[k]+'\r\n';
	}
	if (_strline == '\r\n') continue;
	fp = fso.opentextfile(txtF+'.new', 2, true);
	fp.write(_strline.substr(2)); fp.close();
}
WSH.quit();
复制代码

aloha20200628

如果仅是优化纯P版本，还是要加持一些容错装备，以下是对12楼代码的订正...
不仅是“吃入”时要用双引号包裹%%i，“吐出”时也要用双引号包裹%%i，但须改用set/p...写出方可。
入时双引号包裹可保全变量名中特殊字符，如 set "123 zx|er&qw!kk%uu^12=1"。出时双引号包裹可保全绝大部分特殊字符，但!^会溜号。
变量延迟须包裹内循环体，就是为防止多个文件未处理完即有可能被变量名字典剧增而打爆CMD内存，例如两个5000+行的文件，若去重率极低，就可能会用尽内存开销...

@echo off
for /f "delims=" %%a in ('dir /b/a-d *.txt') do (
	setlocal enabledelayedexpansion
	(for /f "usebackq delims=" %%i in ("%%~a") do if not defined _%%i (
		set "_%%i=1"
		set/p="%%i"<nul
		echo,)
	)>"%%~a.new"
	endlocal
)
复制代码

aloha20200628

setlocal/endlocal 与 setlocal enabledelayedexpansion/endlocal 均能继承而不改变外部%v%，但前者没有!v!创建、引用及其延迟功能。个人习惯采用后者以便代码变化应需而留有余地，且不多几个字符。