[已解决]Python处理数据库数据

依山居

1. """
   
2. 生成测试数据
   
3. 依山居 19:46 2015/11/13
   
4. python列表解析真好玩~
   
5. """
   
6. import time
   
7. start=time.time()
   
8. 
   
9. an=1
   
10. bn=3
    
11. cn=6
    
12. x=1000000
    
13. al=["%012d\n" % r for r in range(an*x)]
    
14. bl=["%012d\n" % r for r in range(bn*x)]
    
15. end=time.time()
    
16. pt=end-start
    
17. print("运行耗时1：",pt)
    
18. cl=["%012d\n" % r for r in range(cn*x)]
    
19. end=time.time()
    
20. pt=end-start
    
21. print("运行耗时2：",pt)
    
22. 
    
23. atxt=open("aa.txt","w+")
    
24. atxt.writelines(al)
    
25. atxt.close()
    
26. 
    
27. btxt=open("bb.txt","w+")
    
28. btxt.writelines(bl)
    
29. btxt.close()
    
30. 
    
31. end=time.time()
    
32. pt=end-start
    
33. print("运行耗时3：",pt)
    
34. 
    
35. ctxt=open("cc.txt","w+")
    
36. ctxt.writelines(cl)
    
37. ctxt.close()
    
38. 
    
39. end=time.time()
    
40. pt=end-start
    
41. print("运行耗时：",pt)
    
42. 
    
43. try:
    
44.     input("按回车退出")
    
45. except SyntaxError:
    
46.     pass
    

复制代码

依山居

1. """
   
2. 每行数据重复N次合并生成新文件
   
3. 依山居 0:54 2015/11/14
   
4. 太困了,回头再改，6百万行，大约17秒。。。
   
5. 非常流氓地使用了sorted排序数据。实际数据中估计不能使用.
   
6. """
   
7. 
   
8. import time
   
9. start=time.time()
   
10. 
    
11. an=6
    
12. with open("aa.txt") as f:
    
13.     ta=f.read()
    
14.     ta=ta.rsplit()
    
15.     al=[(r+",") for r in ta]*an
    
16.     al=sorted(al)
    
17. print(len(al))   
    
18. bn=3
    
19. with open("bb.txt") as f:
    
20.     tb=f.read()
    
21.     tb=tb.rsplit()
    
22.     bl=[(r+",") for r in tb]*bn
    
23.     bl=sorted(bl)
    
24.    
    
25. print(len(bl))   
    
26. cn=1
    
27. with open("cc.txt") as f:
    
28.     tc=f.read()
    
29.     tc=tc.rsplit()
    
30.     cl=[r+"\n" for r in tc]
    
31. print(len(cl))
    
32. end=time.time()
    
33. pt=end-start
    
34. print("运行耗时：",pt)
    
35. 
    
36. rn=len(cl)
    
37. tal=[]
    
38. for r in range(rn):
    
39.     tal.append(al[r]+bl[r]+cl[r])
    
40.    
    
41. end=time.time()
    
42. pt=end-start
    
43. print("运行耗时：",pt)
    
44. 
    
45. with open("out.txt","w+") as f:
    
46.     f.writelines(tal)
    
47.     f.close()
    
48.    
    
49. end=time.time()
    
50. pt=end-start
    
51. print("运行耗时：",pt)
    
52. try:
    
53.     input("按回车退出")
    
54. except SyntaxError:
    
55.     pass
    

复制代码

依山居

1. """
   
2. 每行数据重复N次合并生成新文件
   
3. 题目来源 http://www.bathome.net/thread-38017-2-1.html
   
4. 依山居 0:54 2015/11/14
   
5. 这个版本可以使用来处理实际数据。。。6百万行，大约17秒。。。
   
6. 总结：几百万行数据真不算多。不需要逐行读取处理。python列表解析是个好东西~
   
7. 
   
8. 使用重复列表中元素更好的方法 http://www.oschina.net/question/96078_2141454
   
9. python笔记_列表解析 http://www.jianshu.com/p/c635d3c798c2
   
10. """
    
11. 
    
12. import time
    
13. start=time.time()
    
14. 
    
15. an=6
    
16. with open("aa.txt") as f:
    
17.     ta=f.read()
    
18.     ta=ta.rsplit()
    
19.     al=[r+"," for r in ta for i in range(an)]
    
20. print("al长度:",len(al))
    
21. 
    
22. bn=3
    
23. with open("bb.txt") as f:
    
24.     tb=f.read()
    
25.     tb=tb.rsplit()
    
26.     bl=[r+"," for r in tb for i in range(bn)]
    
27. print("bl长度:",len(bl))
    
28. 
    
29. cn=1
    
30. with open("cc.txt") as f:
    
31.     tc=f.read()
    
32.     tc=tc.rsplit()
    
33.     cl=[r+"\n" for r in tc for i in range(cn)]
    
34. print("cl长度:",len(cl))
    
35. 
    
36. end=time.time()
    
37. pt=end-start
    
38. print("运行耗时：",pt)
    
39. 
    
40. rn=len(cl)
    
41. tal=[al[r]+bl[r]+cl[r] for r in range(rn)]
    
42. #还是用列表解析好~
    
43. #for r in range(rn):
    
44. #   tal.append(al[r]+bl[r]+cl[r])
    
45.    
    
46. end=time.time()
    
47. pt=end-start
    
48. print("运行耗时：",pt)
    
49. 
    
50. with open("out.txt","w+") as f:
    
51.     f.writelines(tal)
    
52.     f.close()
    
53.    
    
54. end=time.time()
    
55. pt=end-start
    
56. print("运行耗时：",pt)
    
57. try:
    
58.     input("按回车退出")
    
59. except SyntaxError:
    
60.     pass
    

复制代码