[文本处理] 文本内容如何用批处理去重？

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

1楼 跳转到 » 倒序看帖

打印

字体大小: tT

发表于 2015-4-18 17:35 | 只看该作者

[文本处理] 文本内容如何用批处理去重？

假如文件123.txt的内容如下，如何将内容输出为每行都是唯一的！

张三
张三
李四
[email]zhangsan@163.com[/email]
张三
李四
[email]lisi@163.com[/email]
李四
[email]wangwu@163.com[/email]
[email]lisi@163.com[/email]

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

2楼

发表于 2015-4-18 17:42 | 只看该作者

@echo off
gawk "!a[$0]++" 测试.txt >结果.txt
pause
复制代码

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

3楼

发表于 2015-4-18 17:46 | 只看该作者

@echo off
(for /f "delims=" %%a in ('type "测试.txt"') do if not defined %%a (echo,%%a &set %%a=def))>"结果.txt"
pause
复制代码

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

4楼

发表于 2015-4-18 17:59 | 只看该作者

pcl_test 发表于 2015-4-18 17:42

debug>gawk "!a[$0]++" 123.txt
gawk: cmd. line:1: (FILENAME=123.txt FNR=1) fatal: print to "standard output" failed (Exec format error)

好像不支持中文！

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

5楼

发表于 2015-4-18 18:06 | 只看该作者

回复 4# shootman2

不是你这样用的

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

6楼

发表于 2015-4-18 18:19 | 只看该作者

回复 shootman2

不是你这样用的
pcl_test 发表于 2015-4-18 18:06

请指教！

bailong360

上尉

Rank: 5 Rank: 5

帖子: 578
积分: 1235
技术: 170
捐助: 60
注册时间: 2012-8-5

7楼

发表于 2015-4-18 18:32 | 只看该作者

@echo off
sort 123.txt|uniq >b.txt
复制代码

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

8楼

发表于 2015-4-18 19:18 | 只看该作者

回复 7# bailong360

还是不好使。。。

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

9楼

发表于 2015-4-18 20:12 | 只看该作者

回复 5# pcl_test

gawk "!a[$0]++" "测试.txt"| more
复制代码

如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用重定向

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

10楼

发表于 2015-4-18 22:23 | 只看该作者

回复 pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

嗯！问题解决了，但是这个语句该怎么理解呢？继续请教大神！

gawk

少将

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

11楼

发表于 2015-4-18 22:34 | 只看该作者

回复 10# shootman2

理解这个语句需要具备基础的awk知识
http://bbs.chinaunix.net/viewthread.php?tid=1672726#pid11904888

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

12楼

发表于 2015-4-20 10:45 | 只看该作者

有没有其他什么好的方法？

Rank: 3 Rank: 3

帖子: 239
积分: 295
技术: 0
捐助: 0
注册时间: 2010-4-11

13楼

发表于 2015-4-21 22:21 | 只看该作者

回复 pcl_test 如果你所说的不支持中文，是指中文不能输出到标准输出，那么是有这个问题，这种情况通常要用 ...
pcl_test 发表于 2015-4-18 20:12

好奇怪，如果启用了变量延迟，程序就卡住一直不动了！

@echo off
setlocal enabledelayedexpansion
set aaa=d:\user_list.txt
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "!aaa!"') do (
echo %%m
)
pause

gawk

少将

Rank: 8 Rank: 8

帖子: 1088
积分: 5421
技术: 98
捐助: 30
注册时间: 2011-10-9

14楼

发表于 2015-4-21 22:33 | 只看该作者

回复 9# pcl_test

gawk "!a[$0]++" 1.txt >con
复制代码

用con比较好

Talk is cheap. Show me the code.
没事不要瞎扯淡，有能耐就把代码贴出来给我看。

Rank: 8 Rank: 8

帖子: 3041
积分: 5330
技术: 684
捐助: 0
注册时间: 2014-10-19

15楼

发表于 2015-4-21 22:59 | 只看该作者

回复 13# shootman2
在你的代码可以不开变量延迟

@echo off
set "aaa=d:\user_list.txt"
for /f "tokens=* delims=" %%m in ('gawk "!a[$0]++" "%aaa%"') do echo %%m
pause
复制代码

要开的话，要对!转义

@echo off
setlocal enabledelayedexpansion
set "aaa=d:\user_list.txt"
for /f "tokens=* delims=" %%m in ('gawk "^!a[$0]++" "!aaa!"') do echo %%m
pause
复制代码