批处理之家 - Powered by Discuz! Board

标题: [文本处理] 批处理从多个文件中读取这两行之间的内容如何提高效率？ [打印本页]

作者: soarhu 时间: 2019-1-16 17:42 标题: 批处理从多个文件中读取这两行之间的内容如何提高效率？

本帖最后由 soarhu 于 2019-1-17 13:03 编辑

现在有10个文件（名字：file_name_c1, file_name_c2,....,file_name_c10 ），每个文件size大概为1M ~ 50M。
每个文件都包含这两行，
其中一行包含 BUFFER POOL AND
另外一行包含 DATABASE USAGE
从这些文件中读取这两行之间的内容，添加一行文字来作为分隔，另存为一个新文件。
我根据帮助文档和bathome.net写了一个批处理，能够运行，
目前的问题效率较低（现在需要5分钟时间），不知诸位有何建议来改进提高效率，提前谢谢诸位的关注和帮助，欢迎点评和建议！

@echo off on & setlocal enabledelayedexpansion
cls
set new_name=newf01
	
for /L %%i in (1,1,10) do (
	set /a cc_i=%%i
	call :next !cc_i!  
)
goto :eof
:next
@echo off
set file_name=pf_s%1.f01
for /F " delims=" %%i in (%file_name%) do (
		set "s=%%i"
		if not "!s:BUFFER POOL AND=!" == "!s!" (set flag=) else if defined flag echo;!s!>>%new_name%.txt
		if not "!s:DATABASE USAGE=!" == "!s!" set "flag=1"   
		if not "!s:DATABASE USAGE=!" == "!s!" echo ---%~dp0 --- %file_name% --- %date% --- >>%new_name%.txt  
)
复制代码

编辑添加 goto :eof

希望生成的新文件格式如下：

---file_path--- file_name1 --- date ---
text between line_keyword_a and line_keyword_b  in file1
---file_path--- file_name2--- date ---
text between line_keyword_a and line_keyword_b  in file2
---file_path--- file_name3--- date ---
text between line_keyword_a and line_keyword_b  in file3
...
...
...
---file_path--- file_name10--- date ---
text between line_keyword_a and line_keyword_b  in file10

作者: soarhu 时间: 2019-1-16 17:55

稍微修改一下，在第九行之后和:next之前添加一行
goto :eof

作者: Batcher 时间: 2019-1-16 20:44

试试这样需要几分钟：

@echo off
setlocal enabledelayedexpansion
set "new_name=newf01"

for /l %%i in (1,1,10) do (
    set cc_i=%%i
    call :next !cc_i!
)
goto :eof

:next
set file_name=pf_s%1.f01
(for /f "delims=" %%i in (%file_name%) do (
    set "s=%%i"
    if not "!s:BUFFER POOL AND=!" == "!s!" (
        set flag=
    ) else if defined flag (
        echo,!s!
    )
    if not "!s:DATABASE USAGE=!" == "!s!" (
        set "flag=1"
    )
    if not "!s:DATABASE USAGE=!" == "!s!" (
        echo ---%~dp0 --- %file_name% --- %date% ---
    )
))>>"%new_name%.txt"
复制代码

作者: Batcher 时间: 2019-1-16 20:46

回复 2# soarhu

可以点击楼层左下角的“编辑”

作者: yhcfsr 时间: 2019-1-16 22:06 标题: 更新

本帖最后由 yhcfsr 于 2019-1-16 23:45 编辑

@echo off
set "new_name=newf01.txt"

for /L %%i in (1,1,10) do if exist "pf_s%%i.f01" call :next "pf_s%%i.f01"
pause&exit
:next
setlocal enabledelayedexpansion
(for /F "delims=" %%i in ('type "%~1"') do (
    set "str=%%i"
	if "!str:DATABASE USAGE=!" neq "!str!" goto :break
	if "!str:BUFFER POOL AND=!" neq "!str!" (set "begin=1") else if defined begin echo;!str!
))>>"%new_name%"
:break
endlocal
复制代码

作者: WHY 时间: 2019-1-16 22:23

回复 5# yhcfsr

如果文件中存在 ! 符号，会被丢弃！！！

作者: yhcfsr 时间: 2019-1-16 22:50

本帖最后由 yhcfsr 于 2019-1-16 22:51 编辑

回复 6# WHY

题主都说这么用可以实现,只是差点效率.所以我也就偷懒了.
如果要避免!号的问题,我看只能混编了

作者: soarhu 时间: 2019-1-16 22:58

本帖最后由 soarhu 于 2019-1-16 23:01 编辑

回复 3# Batcher

非常感谢Batch的关注和热心回复，
经过单次测试，好消息是新的Batcher大概快一分钟。

有个问题，只输出了最后一个的内容。可能是哪里有些许问题。

再次感谢！

Batcher

作者: soarhu 时间: 2019-1-16 23:04

回复 6# WHY

非常感谢指出这个问题！
目前，！不是问题。需要提取的内容当中不包含符号！
可能有*** ---- 等符号。

感谢Bahome高手热心指点！

作者: soarhu 时间: 2019-1-16 23:28

回复 5# yhcfsr

这一改进简单测试，不可运行，提示错误
The filename, directory name, or volume label syntax is incorrect.
我认为可能是我的目录中含有下划线的原因。
但是放到没有特殊字符的目录下，有同样的错误出现。暂时未能运行。如果了解原因，请告知，

谢谢你对这一问题的关注和热心回复。

作者: soarhu 时间: 2019-1-16 23:29

回复 4# Batcher

嗯，谢谢，已经改正

作者: Batcher 时间: 2019-1-16 23:30

回复 8# soarhu

请详细说明一下“只输出了最后一个的内容”

作者: yhcfsr 时间: 2019-1-16 23:47

本帖最后由 yhcfsr 于 2019-1-16 23:49 编辑

回复 10# soarhu
5楼代码我稍微改了下,根据实际情况,修改第4行两处引号内与文件名相关的地方.

@echo off
set "new_name=newf01.txt"

for /L %%i in (1,1,10) do if exist "pf_s%%i.f01" call :next "pf_s%%i.f01"
pause&exit
:next
setlocal enabledelayedexpansion
(for /F "delims=" %%i in ('type "%~1"') do (
    set "str=%%i"
	if "!str:DATABASE USAGE=!" neq "!str!" goto :break
	if "!str:BUFFER POOL AND=!" neq "!str!" (set "begin=1") else if defined begin echo;!str!
))>>"%new_name%"
:break
endlocal
复制代码

作者: soarhu 时间: 2019-1-17 12:52

本帖最后由 soarhu 于 2019-1-17 13:04 编辑

回复 12# Batcher

前面的文件都没有输出，最后仅输出了最后一个文件的两行之间的内容。
嗯，具体原因稍晚我会再研究一下。如果有新发现，请告知。谢谢

---file_path--- file_name10--- date ---
text between line_keyword_a and line_keyword_b in file10

作者: soarhu 时间: 2019-1-17 12:53

回复 13# yhcfsr

嗯，感谢小修改，稍晚我会试一下。

作者: Batcher 时间: 2019-1-17 13:01

回复 14# soarhu

3楼代码已更新，你再试试。

作者: soarhu 时间: 2019-1-17 13:07

回复 13# yhcfsr

感谢细心指点，文件名如同batch缩写，pf_s1.f01，pf_s2.f01,...pf_s10.f01

作者: soarhu 时间: 2019-1-17 13:13

回复 16# Batcher

谢谢，已经可以了，
输出时 > 表示创建，如果已经存在则覆盖前面的文件。
改为 >>,表示添加/追加
是这样理解？

作者: Batcher 时间: 2019-1-17 13:23

回复 18# soarhu

是的。参考：批处理常用符号详解
http://bbs.bathome.net/thread-1205-1-1.html#pid25363

作者: soarhu 时间: 2019-1-17 13:47

回复 19# Batcher

非常感谢，正需要学习对照查找这个列表。

作者: WHY 时间: 2019-1-18 09:23

回复 7# yhcfsr

如果要避免!号的问题,我看只能混编了

不要把话说死，抬扛我也会

@echo off
for /f "delims=" %%i in (1.txt) do (
        set "s=%%i"
        setlocal enabledelayedexpansion
        if not "!s:DATABASE USAGE=!" == "!s!" (
                endlocal
                set flag=1   
                echo;---%~dp0 --- %file_name% --- %date% ---
        ) else if not "!s:BUFFER POOL AND=!" == "!s!" (
                endlocal
                set "flag="
        ) else if defined flag (
                echo;!s!
                endlocal
        ) else endlocal
)
pause
复制代码

作者: 523066680 时间: 2019-1-18 09:41

你们为什么这么执着

作者: yhcfsr 时间: 2019-1-18 09:58

回复 21# WHY

感谢指点.这个方法是我没想到的,学习了.^_^

欢迎光临批处理之家 (http://www.bathome.net/)