Python如何下载整个网页，包括image,js,css等？

QIAOXINGXING

如何下载整个网页，不只是单个html文件，还包括image,js,css等，就像用浏览器按Ctrl+S一样。
试了第三方wget和python的urllib.urlopen(),都只能得到html，网上说模拟浏览器什么的，就不太懂了。。。
多谢出手相助。。。

更新：需要登陆才能获取完整信息，有没有什么办法能把浏览器已经打开的页面批量保存下来？

Batcher

http://bbs.bathome.net/thread-29456-1-1.html

QIAOXINGXING

回复 2# Batcher


    谢谢！
有些信息要登陆才能看到，之前搞过登陆，貌似很麻烦。。。有没有什么方法能把浏览器已经打开的页面保存下来？？

DAIC

Google搜索网站整站下载器

QIAOXINGXING

Google搜索网站整站下载器
DAIC 发表于 2014-5-16 20:58

    谢了！
试了httrack-3.48.8、超级网站整站下载器 v2.0 破解绿色版、Teleport Ultra，前两个不支持登陆，Teleport 输了密码用户名也没用。

QIAOXINGXING

下载html，同时把img、css、js下载下来，有很多问题，先就这样吧。。。。
参考链接：http://stackoverflow.com/questio ... r/13855315#13855315

对于登陆，用IE登陆网站，再用IEC 获取html页面。。

1. #!/usr/bin/python
   
2. #coding:utf-8
   
3. from HTMLParser import HTMLParser
   
4. import urllib,os
   
5. import sys
   
6. reload(sys)
   
7. sys.setdefaultencoding('gbk')
   
8. 
   
9. class MyHTMLParser(HTMLParser):
   
10.         def __init__(self):
    
11.                 HTMLParser.__init__(self)
    
12.                 self.links =  []
    
13.         def handle_starttag(self, tag, attrs):
    
14. #                print "Encountered the beginning of a %s tag" % tag
    
15.                 if tag == 'img' or tag == "script":
    
16.                         for (variable, value)  in attrs:
    
17.                                 if variable == "src" or variable == "href":
    
18.                                         self.links.append(value)
    
19.                 if tag == "link":
    
20.                         dic = dict(attrs)
    
21.                         if dic['rel']=="stylesheet":
    
22.                                 self.links.append(dic['href'])
    
23. 
    
24. def download(pagename,html_code,durl,links):
    
25.         if not os.path.exists(pagename+'_files\\'):
    
26.                 os.mkdir(pagename+'_files\\')
    
27.         upurl = durl.rsplit('/',1)[0]
    
28.         for link in links:
    
29.                 fname = link.split('/')[-1]
    
30.                 fname = fname.split('?')[0]
    
31.                 localpath = './%s%s' % (pagename+'_files/',fname)
    
32.                 if link[0:3] == '../':
    
33.                         downlink = link[3:]
    
34.                         durl = upurl
    
35.                 else:
    
36.                         downlink = link
    
37. 
    
38.                 try:
    
39.                         urllib.urlretrieve(durl+'/'+downlink,localpath)
    
40.                 except Exception,error:
    
41.                         print 'download error:' , error
    
42.                 else:
    
43.                         print 'download '+fname
    
44.                         html_code = html_code.replace(link,localpath)
    
45.         open(pagename+'.html','w').write(html_code)
    
46.         return True
    
47. if __name__ == "__main__":
    
48.         url = 'http://www.bathome.net/thread-30173-1-1.html'
    
49.         pagename = 'bathome'
    
50. 
    
51.         html_code = urllib.urlopen(url).read()
    
52.         hp = MyHTMLParser()
    
53.         hp.feed(html_code)
    
54.         hp.close()
    
55.         durl = url.rsplit('/',1)[0]
    
56.         download(pagename,html_code,durl,hp.links)
    

复制代码

hlzj88

回复 5# QIAOXINGXING
看到你发言 超级网站整站下载器2.0 ，我一直用1.,29，特地下载了2.0，明显感觉不如1.29，要不你试试看

523066680

发了一个Perl登录论坛的，供参考
bbs.bathome.net/viewthread.php?tid=31338

秋风·飞扬

回复 1# QIAOXINGXING wget以及python都是需要多次申请才可以的，第一次爬网页，然后正则，然后下载js,img,css，python用urllib2（短连接可以），正则之后再次提交请求，img，js,css直接用os包解析后缀，然后将流导入到相应文件。