newswan

不完整的行，只有 1 列 2 列？ 还是 列中 数据不完整？

newswan

用了第三方命令 sed

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=aaa
set dest=bbb
del %dest%\*.txt

set exclude=20210226

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    set _file_=%%~fa
    for /f "usebackq tokens=* delims=" %%a in ("%_file_%") do (
        set __%%a=%%a
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%_file_%"
    rem notepad"%_file_%"
)
复制代码

newswan

findstr 支持正则太差，所以用了sed

newswan

回复 6# PCL0769


可能 没有 sed
论坛里下载一个，放到 c:\windows
http://www.bathome.net/thread-36408-1-1.html

newswan

回复 8# PCL0769


    http://bcn.bathome.net/tool/4.8/sed.exe

newswan

我测试正确的，你自己调试一下

set sour=aaa    源路径
set dest=bbb    目的路径

set exclude=20210226   排除列表

newswan

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\admin\Desktop\New folder (2)\aaa
set dest=C:\Users\admin\Desktop\New folder (2)\bbb
set exclude=20210226

del "%dest%\*.txt"

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    for /f "usebackq tokens=* delims=" %%a in ("%%~fa") do (
        set __%%a=%%a
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%%~fa"
    notepad.exe "%%~fa"
)
复制代码

newswan

powershell 好一些

$sour = "aaa"
$dest = "bbb"
$exclude = "20210227"

Remove-Item $dest\*.txt

Get-ChildItem -path $sour *.txt -Recurse | foreach-object {
    ( get-content $_.fullname ) -match "\w+\s+\w+\s+[-]?\w+" -notmatch $exclude | out-file -append $dest\$_
}

Get-ChildItem -path $dest *.txt | foreach-object {
    $a = get-content $_.fullname | sort-object -unique
    $a | out-file $dest\$_
    notepad.exe $dest\$_
}
复制代码

newswan

目录是这样的

├───aaa
│   ├───01
│   └───02
└───bbb
复制代码

刚才 网站 拒绝登陆

newswan

回复 15# qixiaobin0715


欠考虑，如果是单文件去重，需要清除变量

谢谢！！！

newswan

@echo off
setlocal ENABLEDELAYEDEXPANSION

set sour=C:\Users\admin\Desktop\New folder (2)\aaa
set dest=C:\Users\admin\Desktop\New folder (2)\bbb
set exclude=20210226

del "%dest%\*.txt"

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%sour%\*.txt"`) do (
    sed -r -n -e "/\w+\s+\w+\s+\w+/p" -e "/%exclude%/d" "%%~fa">> "%dest%\%%~na.txt"
)

for /f "usebackq tokens=* delims=" %%a in (`dir /s /b "%dest%\*.txt"`) do (
    for /f "usebackq tokens=2 delims==" %%a in (`set __ 2^>nul`) do (
        set %%a=
    )
    for /f "usebackq tokens=* delims=" %%a in ("%%~fa") do (
        set __%%a=1
    )
    
    (
        for /f "usebackq tokens=2 delims==" %%a in (`set __`) do (
            echo %%a
        )
    ) > "%%~fa"
    notepad.exe "%%~fa"
)
复制代码

newswan

我这里运行是正确的，你自己调试吧

newswan

回复 20# PCL0769


数据量很大，powershell 效率高些

$sour = "D:\share\tech\New folder (2)\aaa"
$dest = "D:\share\tech\New folder (2)\ccc"
$exclude = "20210227"

Remove-Item $dest\*.txt

get-date

Get-ChildItem -path $sour *.txt -Recurse | foreach-object {
    $_.fullname
    ( get-content $_.fullname ) -match "\w+\s+\w+\s+[-]?\w+" -notmatch $exclude -replace "SZ","1" -replace "SH","0" -replace "\s+","|" | out-file -append $dest\$_
}

get-date

Get-ChildItem -path $dest *.txt | foreach-object {
    $_.fullname
    $a = get-content $_.fullname | sort-object -unique
    $a | out-file $dest\$_
}

get-date
复制代码

newswan

回复 24# PCL0769

使用 powershell 看这里
http://www.bathome.net/thread-59270-1-1.html

如果批处理，用第三方命令 sort 排序去重，效率高。

├───aaa    <--- 数据源
     ├───01
     └───02
复制代码

newswan

回复 26# qixiaobin0715

去重 效率比较
gnu:sort = vbs > powershell > 批处理

第三方命令，有的和  windows 自带命令重名
第三方命令保存到单独目录，然后把这个路径添加到 %path% 的前面部分
比如

set Path=C:\msys64\usr\bin;%Path%
复制代码