Board logo

标题: [文件操作] 请教一个批量下载网页的问题? [打印本页]

作者: DDDYJQ1    时间: 2014-5-17 23:03     标题: 请教一个批量下载网页的问题?

本帖最后由 DDDYJQ1 于 2017-8-26 23:06 编辑

F:\BIAO\TEST11.TXT内容为
http://zisea.com/zscontent.asp?uni=123105
http://zisea.com/zscontent.asp?uni=123106
http://zisea.com/zscontent.asp?uni=123107
http://zisea.com/zscontent.asp?uni=123108
http://zisea.com/zscontent.asp?uni=123109
http://zisea.com/zscontent.asp?uni=123110


批处理内容为
wget -P "F:\BIAO\11" -i "F:\BIAO\test11.txt" --html-extension -p -k

不知网站怎么回事,太快了就断开了,不能下载了,如何设定在批量下载的时候完成一下网页后,5秒后再下载下一个网页,不知能否实现,先谢了!
作者: QIAOXINGXING    时间: 2014-5-18 10:21

wget有一个等待的选项:
  -w,  --wait=SECONDS           wait SECONDS between retrievals.
       --waitretry=SECONDS      wait 1...SECONDS between retries of a retrieval.
作者: DDDYJQ1    时间: 2014-5-18 10:56

谢了,是这样吗?
wget -P -W 5 "F:\BIAO\11" -i "F:\BIAO\test11.txt" --html-extension -p -k
可是没有看到运行
作者: DDDYJQ1    时间: 2014-5-18 20:11

请各位好心人再帮忙看看
作者: terse    时间: 2014-5-19 00:19

这样试呢
  1. wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k
复制代码

作者: DDDYJQ1    时间: 2014-5-19 08:57

谢了,就是这样,很好用
作者: DDDYJQ1    时间: 2017-8-26 23:04

https://www.lszj.com/tag/jianghuating_3074_1.html
https://www.lszj.com/tag/jiangjieshi_29_1.html
这种格式的如何批量下载?
wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k不能用了
作者: DDDYJQ1    时间: 2017-8-27 21:19     标题: 请教一个批量下载网页的问题?

本帖最后由 DDDYJQ1 于 2017-8-27 23:09 编辑

F:\BIAO\TEST11.TXT内容为
https://www.lszj.com/tag/jianghuating_3074_1.html
https://www.lszj.com/tag/jiangjieshi_29_1.html
这种格式的如何批量下载?
wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k不能用了
请问一下要如何改进?
作者: 3518228042    时间: 2017-8-28 08:16

wget.exe损坏?丢失?还是怎么的,应该行的啊
作者: DDDYJQ1    时间: 2017-8-28 20:57

没损坏,也没丢失
作者: DDDYJQ1    时间: 2017-8-28 20:58

请问一下要如何改进?
作者: DDDYJQ1    时间: 2017-8-29 22:20

请各位大神帮忙想想!
作者: hlzj88    时间: 2017-8-29 22:55

  1. wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" --no-check-certificate -c -t 0 -T 40 -i test11.txt
复制代码
测试下载成功
这一句有两个作用,1 仿浏览器访问,避免wget被拒绝   2 可以下载加密网页https,如果要区分,忘了,这是我用wget的标配语句。
作者: DDDYJQ1    时间: 2017-8-29 23:04

谢了,就是这样,谢谢
作者: DDDYJQ1    时间: 2018-4-10 22:49     标题: 请教一个批量下载网页的问题?

E:\BIAO\TEST1.TXT内容为
https://baike.baidu.com/item/1
https://baike.baidu.com/item/2
https://baike.baidu.com/item/3
https://baike.baidu.com/item/4
https://baike.baidu.com/item/5
https://baike.baidu.com/item/6
https://baike.baidu.com/item/公元前1年
https://baike.baidu.com/item/公元前2年
https://baike.baidu.com/item/公元前3年
https://baike.baidu.com/item/公元前4年
这种格式的如何批量下载?
wget -P "e:\BIAO\1" -w5 -i "e:\BIAO\test1.txt" --html-extension -p -k
不能用了
请问一下要如何改进?
作者: DDDYJQ1    时间: 2018-4-11 19:54

请各位帮忙看看,先谢了
作者: hlzj88    时间: 2018-4-20 06:17

回复 15# DDDYJQ1


    这个应当对txt进行for获取最后 的 1年 等等,然后把整句链接给wget,令其下载链接并保存为 1年 等等的html,而不是用wget直接从文本读取链接。




欢迎光临 批处理之家 (http://www.bathome.net/) Powered by Discuz! 7.2