[问题求助] PowerShell怎样根据区域字段重复去重复行？

娜美

Get-Content 1.txt | sort -Unique -k4  -k5 | sc  2.txt
根据区域字段重复,去重复行, 这样写似乎不对, 请帮忙指正一下

1 2 3 4 
1 2 3 4 5
1 2 4 0
复制代码

8/3 14:33补充
根据列数的字段是否为重复   空格为分隔符 例如如果第3 and 4列字段重复了  只要其中任意一行就行
out.txt
1 2 3 4 5
1 2 4 0

娜美

回复 24# Five66

谢谢哥哥指点

Five66

回复 23# 娜美

两行

Get-Content 1.txt | group-object {($_ -split '   ')[1,2] -join ''} | %{$_.group[0]} | sc 2.txt
cmd /c "echo.>>2.txt"
复制代码

一行

(Get-Content 1.txt | group-object {($_ -split '   ')[1,2] -join ''} | %{$_.group[0]} | sc 2.txt);cmd /c "echo.>>2.txt"
复制代码

娜美

回复 22# Five66


   

Get-Content 1.txt | sort  -unique {($_ -split '   ')[1,2] -join ''} | cmd /c "echo.>>2.txt"这样不行的

Five66

回复 21# 娜美

再加上一行命令
cmd /c "echo.>>2.txt"

娜美

还有种不进行排序的，可能更快更直观更自由点
Five66 发表于 2023-8-3 20:57

嗯嗯,  如果要在最末尾行再留空一行或2行呢

Five66

还有种不进行排序的，可能更快更直观更自由点

Get-Content 1.txt | group {($_ -split '   ')[1,2] -join ''} | %{$_.group[0]} | sc 2.txt
复制代码

娜美

回复 18# Five66


    明白了 谢谢哥哥

Five66

最先读取是指去重时最先读取的，去重一般是在排序完之后进行的
其实完全可以像awk那用ps的哈希或列表去重，不过代码会比较长

Five66

回复 16# 娜美
1.txt的分割符是三个空格吧

Get-Content 1.txt | sort  -unique {($_ -split '   ')[1,2] -join ''} | sc  2.txt
复制代码

娜美

回复 15# Five66

1   2    3
1   0    3
1   2    3
Get-Content 1.txt | sort  -unique {$_.split(' ')[1,2] -join ''} | sc  2.txt
执行后结果少了一行
    1   2    3


不是应该得到吗,
1   2    3
1   0    3

Five66

回复 14# 娜美
$_.split(' ')是按单个空格切分每一行,不是单个空格的就换成其他的字符串
$_.split(' ')[1,2]结果是个数组,数组之间有特有的排序规则(也可能没有),总之将其转成字符串就比较好让人理解了

Get-Content 1.txt | sort  -unique {$_.split(' ')[1,2] -join ''} | sc  2.txt
复制代码

去重时仅保留最先读取的那一行,而且结果还会排序

娜美

回复 12# Five66


    哥哥你这个理解能力就很好嘛, 但为什么这样就不行了呢
Get-Content 1.txt | sort  -unique {$_.split(' ')[1,2]} | sc  2.txt

1   2    3

1   2    3

1   0    3
复制代码

xczxczxcz

回复 4# Nsqs


    还别说，虽然你的结果‘碰巧’对了（因一楼随手复制粘贴的东本不能体现出真实问题），
但与一楼的要求有出入，一楼是按照 第4列和第5列来判断（一楼的脚本虽然不正确，但意思应该是这个意思）是否已出现过，你的解法是按照整行判断的。
再修改一下就可以了。

Five66

假设第三列都存在,根据第三列去重并排序(去重时仅保留最先读取的那一行)
[code]
Get-Content 1.txt | sort  -unique {$_.split(' ')[2]} | sc  2.txt
[code]
$_.split(' ')[2]就是第三列,需要多列时加几个数字拼接一下其他列就行了(去重时仅保留最先读取的那一行,而且结果还会排序)