Board logo

标题: [问题求助] [已解决]Python处理数据库数据 [打印本页]

作者: winbat    时间: 2015-11-7 10:44     标题: [已解决]Python处理数据库数据


图片太大
http://postimg.org/image/mr6mb6ffr/

昨天数据库出了点问题急需解决,学生对Python不太熟所幸有此‘批处理之家’能求助于各路大侠,望请位老师帮助解决,谢谢!
问题如下:
有以下 A,B,C 三个文本,各文本分别指定每一行‘任意’重复行数然后合并输出,效果如 test.txt ;因数据很大多则几佰万少则几十万,所以感觉用Python处理可能会快些,当然别的脚本也行,试过BAT但太慢了。
分开说白了就是: ‘任意’指定文本数据重复行数然后合并3个文本输出,效果如 test.txt

无论能否实现,学生当于En ‘Python 黑帽子.PDF’ 致谢!


附上附件‘数据test文本’,那位大侠能实现么??
作者: 依山居    时间: 2015-11-7 16:31

本帖最后由 依山居 于 2015-11-12 07:27 编辑

并不明白你的说什么意思。

python是方便的语言。并不是处理速度快。大量数量使用readline读入,for 逐行迭代处理。
处理大量数据还要打印到输出,还要交互确认?。不慢才见鬼了。

修正一下,经过我在另的帖子中生成的数据来测试,几百M的文件不算大文件。只要内存不会爆掉,应该都一次读入内存处理。
逐行读,处理,逐行写,这样的顺序可能会很慢。

这个问题本质也是个文本格式化。
作者: winbat    时间: 2015-11-7 19:17

回复 2# 依山居

I'm Sorry ,可能是我解释的有点问题。

分开说白了就是: 处理 A,B,C 3个文本数据指定每一行、重复多少行(例 test.txt A文本我指每一行是重复6行;B文本指每一行是重复3行;C文本不处理),然后合并输出 效果如 test.txt

如此链接图片:http://postimg.org/image/mr6mb6ffr/

大侠这样能实现么?
作者: 依山居    时间: 2015-11-7 19:36

回复 3# winbat


    想不想写的问题而已。
作者: pcl_test    时间: 2015-11-7 19:36

本帖最后由 pcl_test 于 2015-11-7 20:00 编辑

vbs
  1. Dim a(),b(),c(),n
  2. file1 = "A.txt"
  3. file2 = "B.txt"
  4. file3 = "C.txt"
  5. Set fso = CreateObject("Scripting.FileSystemObject")
  6. i=0
  7. n = InputBox("输入"&file1&"每行重复的次数:",,1)
  8. Set f = fso.OpenTextFile(file1,1)
  9. Do While f.AtEndOfStream <> True
  10.     str = f.ReadLine
  11.     For j=1 to n
  12.         ReDim Preserve a(i)
  13.         a(i) = str
  14.         i = i+1
  15.     Next
  16. Loop
  17. f.Close
  18. i=0
  19. n = InputBox("输入"&file2&"每行重复的次数:",,1)
  20. Set f = fso.OpenTextFile(file2,1)
  21. Do While f.AtEndOfStream <> True
  22.     str = f.ReadLine
  23.     For j=1 to n
  24.         ReDim Preserve b(i)
  25.         b(i) = str
  26.         i = i+1
  27.     Next
  28. Loop
  29. f.Close
  30. i=0
  31. n = InputBox("输入"&file3&"每行重复的次数:",,1)
  32. Set f = fso.OpenTextFile(file3,1)
  33. Do While f.AtEndOfStream <> True
  34.     str = f.ReadLine
  35.     For j=1 to n
  36.         ReDim Preserve c(i)
  37.         c(i) = str
  38.         i = i+1
  39.     Next
  40. Loop
  41. f.Close
  42. On Error Resume Next
  43. Set f = fso.CreateTextFile("合并.txt",2)
  44. For k=0 to UBound(a)
  45.     f.WriteLine a(k)&","&b(k)&","&c(k)
  46. Next
  47. f.Close
  48. Msgbox "完成"
复制代码

作者: winbat    时间: 2015-11-7 19:51

回复 5# pcl_test

非常感谢 @pcl_test 大大的热心帮助,vb 测试成功因没在公司。明天去试试看看处理大数据怎样后才结账, 再次感谢 @pcl_test

En Python 黑帽子.PDF
链接: http://pan.baidu.com/s/1pJpH7cB 密码: c8ps
作者: winbat    时间: 2015-11-7 19:52

回复 4# 依山居

嗯,但还是非常感谢你的回答!

En Python 黑帽子.PDF
链接: http://pan.baidu.com/s/1pJpH7cB 密码: c8ps
作者: 依山居    时间: 2015-11-7 21:05

回复 5# pcl_test


    楼主说的数量挺大的吧?版主你的代码都是一次读入处理后再写入文件的吗?
作者: pcl_test    时间: 2015-11-7 21:51

回复 8# 依山居

用的逐行读写
作者: 523066680    时间: 2015-11-7 23:36

  1. ed2k://|file|Black%20Hat%20Python%20-%20Python%20Programming%20For%20Hackers%20And%20Pentesters%20-%20Justin%20Seitz%20(No%20Starch%20Press,%202015).pdf|10527596|AA5C5E3170948C5E8D69A6452E485BCC|/
  2. ed2k://|file|Black%20Hat%20Python%20-%20Python%20Programming%20for%20Hackers%20and%20Pentesters%202014-P2P.pdf|10527371|A2E373D2B0DB8B9C69AED7D4B1C57FE8|h=PVEMBL4LSZGMBIYJMLJFKBM2BSMRK3SZ|/
  3. ed2k://|file|Black%20Hat%20Python,%20Python%20Programming%20for%20Hackers%20_%20Pentesters.pdf|10527370|1EB844B6AFEABBD3E80195880AD905DD|/
  4. ed2k://|file|[No%20Starch%20Press]%20Black%20Hat%20Python%20-%20Python%20programming%20for%20hackers%20and%20pentesters%20(2015).pdf|7334960|C4839361F53A667C5E02BB9C6F419FA6|/
  5. ed2k://|file|[No%20Starch%20Press]%20Black%20Hat%20Python%20-%20Python%20programming%20for%20hackers%20and%20pentesters%20(2015).pdf|7226003|4DBDD55D316316E2BD1756E827B6BD53|/
  6. ed2k://|file|BlackHat%202007%20-%20Reverse%20Engineering%20Automation%20with%20Python.pdf|3701524|DD5F4D61D7C9B086C22E830ADDEA63F1|/
  7. ed2k://|file|Black%20Hat%20Python,%20Python%20Programming%20for%20Hackers.pdf|3167049|58CEE78C549C4F4AC17DF7BB86E5788E|/
复制代码
ED2K

有实体书,因为最近比较颓,已经垫桌角
作者: 依山居    时间: 2015-11-8 01:51

回复 10# 523066680


    我一直有囤有各种资料。但是就是不看。。。十年间几乎没有完整看过一本书,没有任何进步。
作者: 依山居    时间: 2015-11-8 16:31

本帖最后由 依山居 于 2015-11-13 22:36 编辑

不小心生成了6百万行数据测试了下。这里的代码大约需要1020秒。将近17分钟。
  1. #python重复行数合并文件
  2. #题目来源: http://www.bathome.net/viewthread.php?tid=38017
  3. #依山居 4:22 2015/11/8
  4. #相关资料 Python按行读文件:
  5. #http://www.cnblogs.com/xuxn/archive/2011/07/27/read-a-file-with-python.html
  6. #相关资料 Python迭代器和生成器:
  7. #http://python.jobbole.com/81881/
  8. #python3 生成器
  9. #http://t.cn/R2GTPBY
  10. #Python关键字yield的解释
  11. #http://pyzh.readthedocs.org/en/latest/the-python-yield-keyword-explained.html
  12. #探寻Python中如何同时迭代多个iterable对象
  13. #http://blog.csdn.net/kxcfzyk/article/details/41380017
  14. #以下三个函数逐行读取对应文件,n为默认重复次数。
  15. def txta(txta="a.txt",n=6):
  16.     with open(txta) as fa:
  17.         for la in fa:
  18.             la=la.rstrip()+","
  19.             for r in range(n):
  20.                 yield la
  21.         
  22. def txtb(txtb="b.txt",n=3):
  23.     with open(txtb) as fb:
  24.         for lb in fb:
  25.             lb=lb.rstrip()+","
  26.             for r in range(n):
  27.                 yield lb
  28. def txtc(txt="c.txt",n=1):
  29.     with open(txt) as f:
  30.         for l in f:
  31.             l=l.rstrip()+"\n"
  32.             for r in range(n):
  33.                 yield l
  34. def merge(a,b,c,txt="test.txt"):
  35.     with open(txt,"a+") as f:
  36.         f.write(a+b+c)
  37.         #f.flush()
  38.         
  39. bt=txtb()
  40. at=txta()
  41. for c in txtc():
  42.     b=next(bt)
  43.     a=next(at)
  44.     merge(a,b,c)
  45. try:
  46.     input("执行完成,按回车退出")
  47. except SyntaxError:
  48.     pass
复制代码

作者: 依山居    时间: 2015-11-9 03:03

本帖最后由 依山居 于 2015-11-9 03:56 编辑

提升处理速度的办法是原文件拆分成多个任务,同时启动多个脚本分别处理。
作者: winbat    时间: 2015-11-10 19:08

回复 13# 依山居


    嗯,类多线程
作者: 依山居    时间: 2015-11-10 19:18

回复 14# winbat


    不是。这是这最简单的办法。以及由于python的GIL ,好像写多线程比较麻烦。
作者: 依山居    时间: 2015-11-13 21:40

  1. """
  2. 生成测试数据
  3. 依山居 19:46 2015/11/13
  4. python列表解析真好玩~
  5. """
  6. import time
  7. start=time.time()
  8. an=1
  9. bn=3
  10. cn=6
  11. x=1000000
  12. al=["%012d\n" % r for r in range(an*x)]
  13. bl=["%012d\n" % r for r in range(bn*x)]
  14. end=time.time()
  15. pt=end-start
  16. print("运行耗时1:",pt)
  17. cl=["%012d\n" % r for r in range(cn*x)]
  18. end=time.time()
  19. pt=end-start
  20. print("运行耗时2:",pt)
  21. atxt=open("aa.txt","w+")
  22. atxt.writelines(al)
  23. atxt.close()
  24. btxt=open("bb.txt","w+")
  25. btxt.writelines(bl)
  26. btxt.close()
  27. end=time.time()
  28. pt=end-start
  29. print("运行耗时3:",pt)
  30. ctxt=open("cc.txt","w+")
  31. ctxt.writelines(cl)
  32. ctxt.close()
  33. end=time.time()
  34. pt=end-start
  35. print("运行耗时:",pt)
  36. try:
  37.     input("按回车退出")
  38. except SyntaxError:
  39.     pass
复制代码

作者: 依山居    时间: 2015-11-14 01:03

  1. """
  2. 每行数据重复N次合并生成新文件
  3. 依山居 0:54 2015/11/14
  4. 太困了,回头再改,6百万行,大约17秒。。。
  5. 非常流氓地使用了sorted排序数据。实际数据中估计不能使用.
  6. """
  7. import time
  8. start=time.time()
  9. an=6
  10. with open("aa.txt") as f:
  11.     ta=f.read()
  12.     ta=ta.rsplit()
  13.     al=[(r+",") for r in ta]*an
  14.     al=sorted(al)
  15. print(len(al))   
  16. bn=3
  17. with open("bb.txt") as f:
  18.     tb=f.read()
  19.     tb=tb.rsplit()
  20.     bl=[(r+",") for r in tb]*bn
  21.     bl=sorted(bl)
  22.    
  23. print(len(bl))   
  24. cn=1
  25. with open("cc.txt") as f:
  26.     tc=f.read()
  27.     tc=tc.rsplit()
  28.     cl=[r+"\n" for r in tc]
  29. print(len(cl))
  30. end=time.time()
  31. pt=end-start
  32. print("运行耗时:",pt)
  33. rn=len(cl)
  34. tal=[]
  35. for r in range(rn):
  36.     tal.append(al[r]+bl[r]+cl[r])
  37.    
  38. end=time.time()
  39. pt=end-start
  40. print("运行耗时:",pt)
  41. with open("out.txt","w+") as f:
  42.     f.writelines(tal)
  43.     f.close()
  44.    
  45. end=time.time()
  46. pt=end-start
  47. print("运行耗时:",pt)
  48. try:
  49.     input("按回车退出")
  50. except SyntaxError:
  51.     pass
复制代码

作者: 依山居    时间: 2015-11-14 12:50

  1. """
  2. 每行数据重复N次合并生成新文件
  3. 题目来源 http://www.bathome.net/thread-38017-2-1.html
  4. 依山居 0:54 2015/11/14
  5. 这个版本可以使用来处理实际数据。。。6百万行,大约17秒。。。
  6. 总结:几百万行数据真不算多。不需要逐行读取处理。python列表解析是个好东西~
  7. 使用重复列表中元素更好的方法 http://www.oschina.net/question/96078_2141454
  8. python笔记_列表解析 http://www.jianshu.com/p/c635d3c798c2
  9. """
  10. import time
  11. start=time.time()
  12. an=6
  13. with open("aa.txt") as f:
  14.     ta=f.read()
  15.     ta=ta.rsplit()
  16.     al=[r+"," for r in ta for i in range(an)]
  17. print("al长度:",len(al))
  18. bn=3
  19. with open("bb.txt") as f:
  20.     tb=f.read()
  21.     tb=tb.rsplit()
  22.     bl=[r+"," for r in tb for i in range(bn)]
  23. print("bl长度:",len(bl))
  24. cn=1
  25. with open("cc.txt") as f:
  26.     tc=f.read()
  27.     tc=tc.rsplit()
  28.     cl=[r+"\n" for r in tc for i in range(cn)]
  29. print("cl长度:",len(cl))
  30. end=time.time()
  31. pt=end-start
  32. print("运行耗时:",pt)
  33. rn=len(cl)
  34. tal=[al[r]+bl[r]+cl[r] for r in range(rn)]
  35. #还是用列表解析好~
  36. #for r in range(rn):
  37. #   tal.append(al[r]+bl[r]+cl[r])
  38.    
  39. end=time.time()
  40. pt=end-start
  41. print("运行耗时:",pt)
  42. with open("out.txt","w+") as f:
  43.     f.writelines(tal)
  44.     f.close()
  45.    
  46. end=time.time()
  47. pt=end-start
  48. print("运行耗时:",pt)
  49. try:
  50.     input("按回车退出")
  51. except SyntaxError:
  52.     pass
复制代码





欢迎光临 批处理之家 (http://www.bathome.net/) Powered by Discuz! 7.2