批处理如何根据a.txt中的内容，对很多csv文件中的内容进行替换

luke2 · 发表于 2020-7-15 07:28:16

有一个a.txt 文件，内容如下，其中的内容如下，和定期需要更新
a.txt
NOID_0_0_8=01979664016F0106
NOID_0_0_7=01979664016F0206
NOID_0_0_6=01979664016F0306
...
很多关系数据，且会定期修改

有很多csv文件
Inspection002_CHIP6_NOID_0_0_6.csv
内容中有“NOID_0_0_6”
Inspection002_CHIP7_NOID_0_0_7.csv
内容中有“NOID_0_0_7”
Inspection002_CHIP8_NOID_0_0_8.csv
内容中有“NOID_0_0_8”
...

需求bat读取a.txt文件，根据等于的关系，替换csv文件中的对应内容
替换后得到的csv文件
Inspection002_CHIP6_NOID_0_0_6.csv
内容中的“NOID_0_0_6”被替换成01979664016F0106
Inspection002_CHIP7_NOID_0_0_7.csv
内容中有“NOID_0_0_7”被替换成01979664016F0206
Inspection002_CHIP8_NOID_0_0_8.csv
内容中有“NOID_0_0_8”被替换成01979664016F0306

went · 发表于 2020-7-15 11:13:55

子文件夹也会一同处理

@echo off
set "txtFile=a.txt"
for /f "usebackq tokens=1,2 delims==" %%i in ("%txtFile%") do (
for /r %%a in ("*_%%i.csv") do (
echo 处理文件:%%a 替换:%%i --^> %%j
(
for /f "usebackq delims=" %%b in ("%%a") do (
set "line=%%b"
call set "line=%%line:%%i=%%j%%"
call echo %%line%%
)
)>"%%a_NEW"
move /y "%%a_NEW" "%%a" >nul
echo 完成!
echo ------------------------
)
)
pause&exit

复制代码

luke2 · 发表于 2020-7-15 17:57:17

回复 2# went

功能实现了，但就是太慢了，因为csv文件里头有几个亿的数据量，
为了减少数据搜索量，能否定义只搜索csv文件中的第二列（或者指定的列），如下图：

Batcher · 发表于 2020-7-15 21:25:42

回复 3# luke2

每个csv文件都包含几亿行数据吗？单个csv文件大概几GB？

luke2 · 发表于 2020-7-15 22:35:22

本帖最后由 luke2 于 2020-7-15 22:40 编辑

回复 4# Batcher

csv文件多，每个csv文件大概45MB,含大概7百万个数据量，一个文件夹有大概40多个G，里头多的有1000个左右的csv文件。
所以请求帮忙，看看看能否实现搜索指定的列内容和进行匹配替换，其他的内容保持不变

Batcher · 发表于 2020-7-16 10:20:48

回复 5# luke2

考虑到数据量非常大，而且需要定期更新，建议考虑导入数据库进行处理。

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 批处理如何根据a.txt中的内容，对很多csv文件中的内容进行替换