批处理如何替换多种标点符号为换行，并输出新的文本？

siesta · 发表于 2016-2-16 06:03:56

求破解难题，想通过脚本实现如下效果：

txt文本为一段文字，内容如下：

这辆货运列车的试运行是中国按照力图实现国际交通线路多元化的”丝绸之路经济带“进行的，这项旨在建设亚非欧国家间合理交通网络的项目囊括公路、铁路、机场，以及交通基础设施的建设。

实现如下格式：

这辆货运列车的试运行是中国按照力图实现国际交通线路多元化的
丝绸之路经济带
进行的
这项旨在建设亚非欧国家间合理交通网络的项目囊括公路
铁路
机场
以及交通基础设施的建设。

即把标点部分替换为换行，标点可能是多种的，也可能是全角，半角的，替换完毕后生成新的文档

搜索了论坛类似的帖子没有找解决办法，请大虾帮助

pcl_test · 发表于 2016-2-16 08:26:41

论坛一搜一大堆，不会变通是硬伤

wskwfkbdn · 发表于 2016-2-16 10:16:27

本帖最后由 pcl_test 于 2016-7-16 22:37 编辑

http://baiy.cn/utils/_regex_doc/index.htm
用正则表达式匹配标点符号

正则表达式说明
　
简介
大体来讲，正则表达式的文法分为3种标准：BRE、ERE 和 ARE。其中 BER 和 ERE 属于 POSIX 标准，ARE 则是由各家定义的扩展。
　
POSIX 正则表达式
传统上，POSIX 定义了两种正则表达式语法，即：基本正则表达式（BRE）和扩展正则表
达式（ERE）。
其中， BRE 定义的语法符号包括：
. - 匹配任意一个字符。
[] - 字符集匹配，匹配方括号中定义的字符集之一。
[^] - 字符集否定匹配，匹配没有在方括号中定义的字符。
^ - 匹配开始位置。
$ - 匹配结束位置。
 - 定义子表达式。
\n - 子表达式向前引用，n 为 1-9 之间的数字。由于此功能已超出正则语义，需
要在字符串中回溯，因此需要使用 NFA 算法进行匹配。
* - 任意次匹配（零次或多次匹配）。
\{m,n\} - 至少 m 次，至多 n 次匹配；\{m\} 表示 m 次精确匹配；\{m,\} 表示至少 m
次匹配。
ERE 修改了 BRE 中的部分语法，并增加了以下语法符号：
? - 最多一次匹配（零次或一次匹配）。
+ - 至少一次匹配（一次或更多次匹配）。
| - 或运算，其左右操作数均可以为一个子表达式。
同时，ERE 取消了子表达式 "()" 和次数匹配 "{m,n}" 语法符号的转义符引用语法，在
使用这两种语法符号时，不在需要添加转义符。与此同时， ERE 也取消了非正则语义的
子表达式向前引用能力。
BRE 和 ERE 共享同样的 POSIX 字符类定义。同时，它们还支持字符类比较操作 "[. .]"
和字符来等效体 "[= =]" 操作，但很少被使用。
f / fr / wfr / bwfr 等工具默认使用 ERE 模式，同时支持以下 perl 风格的字符类：
POSIX 类 perl类描述
----------------------------------------------------------------------------
[:alnum:] 字母和数字
[:alpha:] \a 字母
[:lower:] \l 小写字母
[:upper:] \u 大写字母
[:blank:] 空白字符（空格和制表符）
[:space:] \s 所有空格符（比[:blank:]包含的范围广）
[:cntrl:] 不可打印的控制字符（退格、删除、警铃...）
[:digit:] \d 十进制数字
[:xdigit:] \x 十六进制数字
[:graph:] 可打印的非空白字符
[:print:] \p 可打印字符
[:punct:] 标点符号
- 此外，还有以下特殊字符类：
perl类等效POSIX表达式描述
----------------------------------------------------------------------------
\o [0-7] 八进制数字
\O [^0-7] 非八进制数字
\w [[:alnum:]_] 单词构成字符
\W [^[:alnum:]_] 非单词构成字符
\A [^[:alpha:]] 非字母
\L [^[:lower:]] 非小写字母
\U [^[:upper:]] 非大写字母
\S [^[:space:]] 非空格符
\D [^[:digit:]] 非数字
\X [^[:xdigit:]] 非十六进制数字
\P [^[:print:]] 非可打印字符
- 还可以使用以下特殊字符换码序列：
\r - 回车
\n - 换行
\b - 退格
\t - 制表符
\v - 垂直制表符
" - 双引号
\' - 单引号
　
高级正则表达式
除了 POSIX BRE 和 ERE 之外，libutilitis 还支持与TCL 8.2兼容的高级正则表达式语
法（ARE）。通过为 stRegEx 参数增加前缀 "***:" 就可以开启 ARE 模式，这个前缀覆
盖 bExtended 选项。基本上讲，ARE 是 ERE 的超集。它在 ERE 的基础上进行了如下几
项扩展：
1. 支持"懒惰匹配"（也叫"非贪婪匹配"或"最短匹配"）：在 '?', '*', '+' 或 '{m,n}'
后追加 '?' 符号就可以启用最短匹配，使得该正则表达式子句在满足条件的前提下匹
配尽可能少的字符（默认是匹配尽可能多的字符）。例如：将 "a.*b" 作用于 "abab"
时，将匹配整个串（"abab"），若使用 "a.*?b"，则将只匹配前两个字符（"ab"）。
2. 支持子表达式的向前引用匹配：在 stRegEx 中，可以使用 '\n' 向前引用曾经定义的
子表达式。如："(a.*)\1" 可匹配 "abcabc" 等。
3. 无名子表达式：使用 "(?:表达式)" 的方式创建一个无名表达式，无名表达式不返回
到一个 '\n' 匹配。
4. 向前预判：要命中匹配，必须向前满足指定条件。向前预判分为肯定预判和否定预判
两种。肯定预判的语法为："(?=表达式)"，例如："bai.*(?=yang)" 匹配 "bai yang"
中的前四个字符（"bai "），但在匹配时保证字符串在 "bai.*" 后必须包含 "yang".
否定判断的语法为："(?!表达式)"，例如："bai.*(?!yang)" 匹配 "bai shan" 的前
四个字符，但在匹配是保证字符串在 "bai.*" 后不出现 "yang"。
5. 支持模式切换前缀，在 "***:" 之后可以紧跟形如 "(?模式串)" 样式的模式串，模式
串影响其后表达式的语义和行为。模式串可以是一下字符的组合：
b - 切换至 POSIX BRE 模式，覆盖 bExtended 选项。
e - 切换至 POSIX ERE 模式，覆盖 bExtended 选项。
q - 切换至文本字面匹配模式，表达式中的字符都作为文本进行搜索，取消一切正则
语义。此模式将正则匹配退化为一次简单字符串查找。"***=" 前缀是其快捷表示
方式，意即："***=" 等同于 "***:(?q)"。
c - 执行大小写敏感的匹配，覆盖 bNoCase 选项。
i - 执行忽略大小写的匹配，覆盖 bNoCase 选项。
n - 开启行敏感的匹配：'^' 和 '$' 匹配行首和行尾；'.' 和否定集（'[^...]'）不
匹配换行符。此功能等同于 'pw' 模式串。覆盖 bNewLine 选项。
m - 等同于 'n'。
p - '^' 和 '$' 只匹配整个字符串的首尾，不匹配行；'.' 和否定集不匹配换行符。
覆盖 bNewLine 选项。
w - '^' 和 '$' 匹配行首和行尾；'.' 和否定集匹配换行符。覆盖 bNewLine 选项。
s - '^' 和 '$' 只匹配整个字符串的首尾，不匹配行；'.' 和否定集匹配换行符。覆
盖 bNewLine 选项。ARE 状态下默认使用此模式。
x - 开启扩展模式：在扩展模式中，将忽略表达式中的空白符和注释符 '#' 后的内容
例如：
@code@
(?x)
\s+ ([[:graph:]]+) # first number
\s+ ([[:graph:]]+) # second number
@code@
等同于 "\s+([[:graph:]]+)\s+([[:graph:]]+)"。
t - 关闭扩展模式，不忽略空白符和注释符后的内容。ARE 状态下默认使用此模式。
6. 与 BRE/ERE 模式不同的 Perl 风格字符类换码序列：
perl类等效POSIX表达式描述
----------------------------------------------------------------------------
\a - 响铃字符
\A - 不论当前模式如何，仅匹配整个串的最开头
\b - 退格字符 ('\x08')
\B - 转义字符本身 ('\\')
\cX - 控制符-X (= X & 037)
\d [[:digit:]] 10 进制数字 ('0' - '9')
\D [^[:digit:]] 非数字
\e - 退出符 ('\x1B')
\f - 换页符 ('\x0C')
\m [[:<:]] 单词开始位置
\M [[:>:]] 单词结束位置
\n - 换行符 ('\x0A')
\r - 回车符 ('\x0D')
\s [[:space:]] 空白符
\S [^[:space:]] 非空白符
\t - 制表符 ('\x09')
\uX - 16 位 UNICODE 字符 (X∈[0000 .. FFFF])
\UX - 32 位 UNICODE 字符 (X∈[00000000 .. FFFFFFFF])
\v - 纵向制表符 ('\x0B')
\w [[:alnum:]_] 组成单词的字符
\W [^[:alnum:]_] 非单词字符
\xX - 8 位字符 (X∈[00 .. FF])
\y - 单词边界（\m 或 \M）
\Y - 非单词边界
\Z - 不论当前模式如何，仅匹配整个串的最尾部
\0 - NULL，空字符
\X - 子表达式向前引用 (X∈[1 .. 9])
\XX - 子表达式向前引用或 8 进制表示的 8 字符
\XXX - 子表达式向前引用或 8 进制表示的 8 字符

复制代码

CrLf · 发表于 2016-2-16 13:28:59

本帖最后由 CrLf 于 2016-2-16 13:30 编辑

perl 或 java 支持 Unicode 的 \pP 属性：

@perl -n -e "use Encode;$s=decode('gbk',$_);$s=~s/[\pP‘’“”]+/\r\n/g;print encode('gbk',$s)" 输入.txt >输出.txt

复制代码

Tianorder · 发表于 2016-2-16 15:21:10

Ctrl+H？
标点符号总共也没有几个吧

ivor · 发表于 2016-2-16 16:14:35

本帖最后由 ivor 于 2016-2-16 20:58 编辑

回复 1# siesta

# python 3.5.1
# coding:gbk
# 功能:非汉字字符替换为换行
# 把要处理的txt拖拽到此脚本上运行，不限制文件数量
import re, sys
# 生成的新文档后缀_new.txt
for path in sys.argv:
if path == __file__:
continue
with open(path, 'r') as rFile:
wFile = open('%s_new.txt' % path, 'w')
text = rFile.readlines()
for line in text:
repStr = re.compile(r'[^\u4e00-\u9fa5]')
nl = repStr.sub('\n', line)
wFile.write(nl)
wFile.close()

复制代码

siesta · 发表于 2016-2-16 19:08:11

回复 6# ivor

感觉无私赐教，这个需求主要是想实现一键处理当前目录下的TXT文档，VBS或BAT实现这个是不是有些复杂？？

ivor · 发表于 2016-2-16 19:21:31

本帖最后由 ivor 于 2016-2-16 20:40 编辑

回复 7# siesta

BAT对于正则表达式不支持，需要借助第三方工具，VBS不熟悉。你要一键处理当前所有文档？
如果用python，几条命令就可以了

6楼的代码已更新，你把要处理的所有txt都拖拽到脚本上运行就可以了

siesta · 发表于 2016-2-16 20:43:55

回复 8# ivor

刚刚在折腾原来的代码，PY可以实现效果，在打包exe的时候提示pywintype 错误，正在排除，马上试一下新脚本，感谢

ivor · 发表于 2016-2-16 21:03:33

回复 9# siesta

最后修改了一次，使用了re.replace函数，速度更快点了，代码逻辑思路比re.split清晰,有什么问题，欢迎指正~~

siesta · 发表于 2016-2-16 21:23:14

回复 10# ivor

效果确实快了，有没有推荐的可以在PY3下面使用的生成EXE的工具，折腾的半天不能生成，可能是缺少某些东西。刚入坑，不知道所以

ivor · 发表于 2016-2-16 21:37:55

回复 11# siesta

支持python2.7-2.5版本:https://sourceforge.net/projects/py2exe/files/py2exe/0.6.9/

siesta · 发表于 2016-2-16 21:45:10

回复 12# ivor

你的代码是使用2.7的吗，我看代码提示是3.5。1的，高版本的PY2EXE可能支持不好？？这一小段代码在2.7上也能正常使用吗？

ivor · 发表于 2016-2-16 22:45:59

回复 13# siesta

应该没问题，早期的版本我也没用过，最明显的print用法不一样，但是代码里没用到

依山居 · 发表于 2016-2-23 06:13:35

这帮人太懒了。网站都不更新一下。
py2exe 比较新的是0.9.2 https://pypi.python.org/pypi/py2exe/0.9.2.0

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[问题求助] 批处理如何替换多种标点符号为换行，并输出新的文本？

浏览过的版块