批处理如何实现将多个文本中指定列的数字的小数位数修改成指定位数

观心 · 发表于 2014-6-7 15:47:28

本帖最后由 pcl_test 于 2016-11-18 18:06 编辑

多个文本有多行类似数据
1999/01/04;5.29;5.30;5.17;5.18;1070500;15710576.000
1999/01/05;5.16;5.20;5.10;5.16;1740800;25148052.000
1999/01/06;5.16;5.26;5.15;5.19;1203600;17579928.000
1999/01/07;5.18;5.42;5.17;5.30;1702800;25376532.000
.
.
.
数据来源

需要改成
1999/01/04;5.290;5.300;5.170;5.180;1070500.00;15710576.00
1999/01/05;5.160;5.200;5.100;5.160;1740800.00;25148052.00
1999/01/06;5.160;5.260;5.150;5.190;1203600.00;17579928.00
1999/01/07;5.180;5.420;5.170;5.300;1702800.00;25376532.00
.
.
.

即第2个到第5个分号前面的小数增加成三位，最后两组数字保留小数2位
最后删除最后一行(数据来源)
研究了半天的正则表达替换在批处理文本工具上可以实现但是不会在批处理上实现请各位老师不吝赐教特别是多个类似文件的批处理在win7下怎么实现谢谢
;([0-9]+\...;[0-9]+\...;[0-9]+\...;[0-9]+;[0-9]+\....)$  替换为0;\1
;([0-9]+\...;[0-9]+\...;[0-9]+;[0-9]+\....)$  替换为0;\1
;([0-9]+\...;[0-9]+;[0-9]+\....)$  替换为0;\1
;([0-9]+;[0-9]+\....)$  替换为0;\1
;([0-9]+\....)$  替换为\.00;\1
(\...).$  替换为\1
数据来源替换为

522235677 · 发表于 2014-6-7 17:22:15

@echo off & setlocal enabledelayedexpansion
for /f "tokens=1,2,3,4,5,6,7 delims=;" %%a in (1.txt) do (
set a=%%g
echo %%a;%%b0;%%c0;%%d0;%%e0;%%f;!a:~0,-1!
)
pause

复制代码

正则表达我也不懂

terse · 发表于 2014-6-7 18:10:18

多个文件的话外包一个FOR

@echo off & setlocal enabledelayedexpansion
(for /f "tokens=1-5*delims=;" %%a in (a.txt) do (
set "str=%%a"
for %%i in (%%b;%%c;%%d;%%e) do (
for /f "tokens=1*delims=." %%j in ("%%i") do (
set "s=%%k000"
set s=%%j.!s:~,3!
)
set str=!str!;!s!
)
for %%i in (%%f) do (
for /f "tokens=1*delims=." %%j in ("%%i") do (
set "s=%%k00"
set s=%%j.!s:~,2!
)
set str=!str!;!s!
)
echo !str!
))>b.txt
pause

复制代码

PowerShell · 发表于 2014-6-7 18:46:22

这道题不适合用正则，应该用分号切割，然后处理

观心 · 发表于 2014-6-7 18:53:54

谢谢楼上两位老师感谢学生下去再慢慢体会虽然没有删除最后一行的语句但是应该不难找到

观心 · 发表于 2014-6-7 22:35:43

本帖最后由观心于 2014-6-7 22:38 编辑

折腾了半天把删除最后一行加上了但是感觉应该可以优化一下处理5个文件每个文件有5000行左右速度都有点慢  希望老师帮忙处理一下
@echo off
setlocal enabledelayedexpansion
for /f "tokens=*" %%p in ('dir/b *.txt') do (
set "f=%%p"
for /f "usebackq delims=" %%j in ("!f!") do set/a n+=1
set/a n-=2
for /f "delims=" %%m in ('"type "!f!"|more +1"') do set/a x+=1&if !x! leq !n! echo;%%m>>!f!
set/a n=0,x=0
set n=
(for /f "tokens=1-5*delims=;" %%a in ('type "%%p"') do (
set "str=%%a"
for %%i in (%%b;%%c;%%d;%%e) do (
      for /f "tokens=1*delims=." %%j in ("%%i") do (
         set "s=%%k000"
         set s=%%j.!s:~,3!
      )
         set str=!str!;!s!
   )
   for %%i in (%%f) do (
      for /f "tokens=1*delims=." %%j in ("%%i") do (
         set "s=%%k00"
         set s=%%j.!s:~,2!
      )
         set str=!str!;!s!
   )
         echo !str!
))>temp.txt

move /y temp.txt "%%p")
)
pause

terse · 发表于 2014-6-7 23:25:54

回复 6# 观心
这样效率高点不

@echo off & setlocal enabledelayedexpansion
for /f "delims=" %%f in ('dir /a-d/b *.txt') do (
set "str="
(for /f "usebackqtokens=1-5*delims=;" %%a in ("%%f") do (
if defined str (
for %%i in (!str1!) do (
for /f "tokens=1*delims=." %%j in ("%%i") do (
set "s=%%k000"
set "s=%%j.!s:~,3!"
)
set "str=!str!;!s!"
)
for %%i in (!str2!) do (
for /f "tokens=1*delims=." %%j in ("%%i") do (
set "s=%%k00"
set "s=%%j.!s:~,2!"
)
set "str=!str!;!s!"
)
echo !str!
)
set str=%%a&set str1=%%b;%%c;%%d;%%e&set "str2=%%f"
))>"%temp%\$"
move "%temp%\$" "%%f"
)
pause

复制代码

观心 · 发表于 2014-6-8 01:54:34

回复 7# terse

折腾了一天向楼上的老师们学了许多东西感谢老师！

4000多个文件每个文件5000多行执行优化后的批处理看着屏幕1秒钟移动一个文件算下来要1个多小时没有办法只能学sed的替换
sed -e "s/;/0;/2;s/;/0;/3;s/;/0;/4;s/;/0;/5;s/;/.00;/6;s/[0-9]$//g;$d " -i *.txt
5分钟不到完成。唉，毕竟人家SED是专业处理文本的东西。

DAIC · 发表于 2014-6-8 08:49:34

sed -i "s/;/0;/2;s/;/0;/3;s/;/0;/4;s/;/0;/5;s/;/.00;/6;s/[0-9]$//;$d" *.txt

复制代码

观心 · 发表于 2014-6-8 11:19:11

回复 9# DAIC

感谢提醒纠正

PowerShell · 发表于 2014-6-8 13:41:21

4000多个文件每个文件5000多行----这样的文件压缩后不算大，能压缩上传网盘么？我想来跑我脚本试试。
众位也可以跑跑自己的脚本看看慢在哪？

另外我补充一下，
你这案例文件不算多，文件行数只能算太小。
你这个如果用 excel+宏也应该很快完成。
excel有导入文本，然后按【分号】分列，然后就是处理单元格格式了。
这种方法的好处是：不用总去找脚本高人，自己这个低人点两下鼠标也能成功！

观心 · 发表于 2014-6-8 16:31:15

回复 11# PowerShell

感谢版主关心！EXCEL的宏也试过速度也慢估计是自己vba编写方式错误采用一个文本一个文本导入宏处理后还要写成一个文件也没有SED快！
我这个就是股票的数据转换：通达信导出的文本转换为飞狐能用的格式。没有修改过的文本在这里
http://pan.baidu.com/s/1kTIBpMR
经过SED处理后的在这里
http://pan.baidu.com/s/1mgyq2u8

CrLf · 发表于 2014-6-8 21:07:47

本帖最后由 CrLf 于 2014-6-12 04:45 编辑

感觉用 printf 更方便：

set "rnd=%random%"
del *.$%rnd%
gawk -F";" "{printf("%%s;%%s0;%%s0;%%s0;%%s0;%%.2f;%%.2f",$1,$2,$3,$4,$5,$6,$7)>FILENAME ".$%rnd%"}" *.txt
del *.txt
ren *.$%rnd% *.

复制代码

学过 c 的用 printf 应该都很爽吧？
实测 800M 文件一秒一个，现在是用类似 sed 的办法输出到临时文件再替换源文件，要实现直接输出到源文件也行，但麻烦点就不写了
----------------------------------------------------------------------------------
9 楼 sed 代码似可简化，不需要那么多正则：

sed -i "s/\...;/&0;/g;s/;/.00;/6;s/.$//" *.txt

复制代码

但用这里无论是用 sed 正则还是面对对象语言都太浪费 cpu 了，貌似 gawk 比较经济适用

PowerShell · 发表于 2014-6-8 21:13:12

我已经测试
http://www.bathome.net/thread-30484-1-1.html

PowerShell · 发表于 2014-6-8 22:45:08

我写的脚本=36分钟完活。
多进程=13分钟
8楼的sed=1小时11分钟，结果对没对还没比对。而且是我运行了n遍我的脚本，都缓存内存的情况下。
抽空重新启动机子，重新复制了源数据，然后进入源目录，type *.txt，让内存缓存，重测试，结果为1小时12分钟。

我的sed版本信息：
sed.exe (GNU sed) 4.2.2
Copyright (C) 2012 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>.
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

Written by Jay Fenlason, Tom Lord, Ken Pizzini,
and Paolo Bonzini.
GNU sed home page: <http://www.gnu.org/software/sed/>.
General help using GNU software: <http://www.gnu.org/gethelp/>.
E-mail bug reports to: <bug-sed@gnu.org>.
Be sure to include the word ``sed'' somewhere in the ``Subject:'' field.

sed只是更改源文件，并没生成新文件，当然这问题不大。另外我发现sed在目标目录生成只读随机文件，然后又删除了。

既然有数据，那么就好办，以事实为依据即可。
欢迎大家测测 8楼5分钟的sed和我的脚本。并给出这三套脚本的结果。

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 批处理如何实现将多个文本中指定列的数字的小数位数修改成指定位数