[已解决]批处理怎样把txt文本根据每行部分内容匹配去重

lantern · 发表于 2015-1-17 07:36:35

txt文件

列A 列B 列C 列D
1.2.3.4 56 字符串字符串
5.6.7.8 99 字符串字符串
2.3.4.5 56 字符串字符串
6.7.8.9 99 字符串字符串
1.2.3.4 76 字符串字符串
5.6.7.8 45 字符串字符串

复制代码

列A为主对比项，列B为次对比项
列A无相同行时，保留这一行
列A有相同行时，保留列B数值较小的那一行
这样的去重bat能搞吗？谢谢

tmplinshi · 发表于 2015-1-17 14:03:28

@echo off
setlocal enabledelayedexpansion
(for /f "tokens=1,2,*" %%a in ('sort a.txt') do (
if "%%a" neq "!last_col1!" (
if defined last_col1 (
echo !full_line!
)
set last_col1=%%a
set n=%%b
set full_line=%%a %%b %%c
) else (
if %%b lss !n! (
set n=%%b
set full_line=%%a %%b %%c
)
)
)) >result.txt

复制代码

lantern · 发表于 2015-1-17 15:09:30

回复 2# tmplinshi
多谢。
有个问题：处理的结果少一行。
txt

1.2.3.4 56 字符串字符串
5.6.7.8 99 字符串字符串
2.3.4.5 56 字符串字符串
6.7.8.9 99 字符串字符串
1.2.3.4 76 字符串字符串
5.6.7.8 45 字符串字符串

复制代码

输出的结果是

1.2.3.4 56 字符串字符串
2.3.4.5 56 字符串字符串
5.6.7.8 45 字符串字符串

复制代码

少了“6.7.8.9       99       字符串       字符串”这一行，我用一个大文件运行了一下，列A去重后是22646行，但result.txt只有22645行
另外还有下面一种情况：
1.2.3.4
1.2.3.4       76       字符串       字符串
1.2.3.4       45       字符串       字符串
就是列A相同，列B  列C  列D有可能为空，想保留不为空且列B数值较小的这一行该怎么弄，谢谢。

tmplinshi · 发表于 2015-1-17 18:31:04

回复 3# lantern

@echo off
setlocal enabledelayedexpansion
(
for /f "tokens=1,2,*" %%a in ('sort a.txt') do (
if "%%a" neq "!last_col1!" (
if defined last_col1 (
echo !full_line!
set finishedCol1=!last_col1!
)
set last_col1=%%a
set n=%%b
if "!n!" == "" (set n=空)
set full_line=%%a !n! %%c
) else (
if %%b lss !n! (
set n=%%b
set full_line=%%a %%b %%c
)
)
)
if "!finishedCol1!" neq "!last_col1!" (
echo !full_line!
)
) >result.txt

复制代码

lantern · 发表于 2015-1-17 19:46:40

回复 4# tmplinshi
这次OK了，多谢斑竹！

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] [已解决]批处理怎样把txt文本根据每行部分内容匹配去重

评分

评分

评分