python字符串切片处理DB2 DEL文件断行问题实现不以引号开头的行与上一行连接.py

依山居

1. """
   
2. python字符串切片处理DB2 DEL文件断行问题实现不以引号开头的行与上一行连接.py
   
3. 题目来源 http://www.bathome.net/thread-38164-1-1.html
   
4. 依山居  17:47 2015/11/24
   
5. 这个解决思路在脑子里绕了好几天~找到\n也就是换行符，同时切出它的下一位不为"号的字符。
   
6. 也就是不以引号开头行的第一个字。然后再替换掉\n
   
7. 感觉这个处理方法,不需要正则表达式可靠性也很高。
   
8. """
   
9. import time
   
10. start=time.time()
    
11. print("运行中..."*3)
    
12. 
    
13. with open("a.txt") as f:
    
14.     txt=f.read()
    
15. #增加字符长度,取\n的下一位字符时就不用担心和考虑越界的问题
    
16. txt=txt+"###"
    
17. rn=len(txt)
    
18. #找到\n也就是换行符，同时切取出它的下一位不为"号的字符。
    
19. rs=[txt[r]+txt[r+1] for r in range(rn-3) if ("\n" in txt[r]) and ('"' not in txt[r+1])]
    
20. #rs=['\n2', '\n5', '\n2', '\n3'...]
    
21. for r in rs:
    
22.     #设r为\n3,替换为r[1]也就是换为3，相当于删掉了\n。这个不以引开头的行就能与上行连接了。
    
23.     txt=txt.replace(r,r[1])
    
24. txt=txt.rstrip("###")+"\n"
    
25. with open("aa.txt","w+") as f:
    
26.     f.write(txt)
    
27. 
    
28. end=time.time()
    
29. pt=end-start
    
30. print("运行耗时：",pt)
    
31. try:
    
32.     input("按回车退出")
    
33. except SyntaxError:
    
34.     pass
    

复制代码

依山居

败了。逐个字符扫描太慢了。
用以下代码生成3百M的测试文件，久久没完成。

1. """
   
2. 生成测试数据
   
3. 依山居 20:01 2015/11/24
   
4. """
   
5. import time
   
6. start=time.time()
   
7. print("运行中..."*3)
   
8. 
   
9. a=""""1","1
   
10. 2","123","","201
    
11. 5-10-31",
    
12. "1","1
    
13. 2","12
    
14. 3","","",
    
15. "1","12","123","123
    
16. 4"
    
17. "A","AB","ABC","ABCD"
    
18. "R","RS","RS
    
19. T","RSTU"
    
20. "E","EF","EFG","EFGH"
    
21. "c","EF","EFG","EFGH"
    
22. "d","EF","EFG","EFGH
    
23. xxx"
    
24. "f","EF","EFG","EFGH
    
25. 13:05 2015/11/17"
    
26. "c","EF","EFG","EFGH"
    
27. "c","EF","EFG","EFGH"
    
28. "c","EF","EFG","EFGH"
    
29. "c","EF","EFG","EFGH"
    
30. """
    
31. 
    
32. b=a*1000000
    
33. with open("a.txt","w") as f:
    
34.     f.write(b)
    
35. 
    
36. end=time.time()
    
37. pt=end-start
    
38. print("运行耗时：",pt)
    
39. try:
    
40.     input("按回车退出")
    
41. except SyntaxError:
    
42.     pass
    

复制代码

依山居

测试总结:
与直觉相反，并不是逐字扫描慢，而是在进行迭代replace慢。非常非常非常非常慢~
经测试慢在这个部分，测试生成测试文件3M 三百万个字符。8万个字符需要替换，需要180秒才能完成替换:
for r in rs:
    txt=txt.replace(r,r[1])
所以大量的字符替换不能使用这个方法。

依山居

新代码

1. """
   
2. python列表切片处理DEL文件断行.py
   
3. 这版的代码是之前列表切片版的改进，目的是把DEL文件中不以引号开头的行与上一行连接
   
4. 下一行不以引号开头则清除行后的空白字符，包括\n，在写入的时候就自动与上一行连接了。
   
5. http://www.bathome.net/thread-38164-1-1.html
   
6. """
   
7. 
   
8. import time
   
9. start=time.time()
   
10. print("运行中..."*3)
    
11. 
    
12. txt=[]
    
13. with open("a.txt") as f:
    
14.     txt=f.readlines()
    
15. 
    
16.     end=time.time()
    
17.     pt=end-start
    
18.     print("readlines运行耗时：",pt)
    
19. 
    
20.     ln=len(txt)
    
21.     print("需要处理的文件行数：",ln)
    
22. 
    
23.     end=time.time()
    
24.     pt=end-start
    
25.     print("len(txt)运行耗时：",pt)
    
26.     #为了防指针越界，所以rn需要减1
    
27.     #flines=[txt[r] if ('"' in txt[r+1][0]) else txt[r].rstrip() for r in range(ln-1)]
    
28.     #与上一行等效写法
    
29.     flines=[txt[r] if (txt[r+1].startswith('"')) else txt[r].rstrip() for r in range(ln-1)]
    
30.        
    
31. end=time.time()
    
32. pt=end-start
    
33. print("flines运行耗时：",pt)
    
34. 
    
35. with open("out.txt","w+") as f:
    
36.     f.writelines(flines)
    
37.     #补上最后一行
    
38.     f.write(txt[-1])
    
39.     f.close()
    
40.    
    
41. txt[:]=[]
    
42. flines[:]=[]
    
43. 
    
44. end=time.time()
    
45. pt=end-start
    
46. print("运行耗时：",pt)
    
47. try:
    
48.     input("按回车退出")
    
49. except SyntaxError:
    
50.     pass
    
51. 
    
52. """
    
53. 测试结果，列表切片和模式匹配处理速度相当，670M的文本，大约60-70秒左右，
    
54. 包括写入时间,算出处理速度大约是每秒处理10M左右。
    
55. 实际发现内存占用峰值会高出好几倍，python 进程会短时占用好几个G内存的情况。
    
56. 
    
57. """
    

复制代码