请教一个批量下载网页的问题？

DDDYJQ1 · 发表于 2014-5-17 23:03:03

本帖最后由 DDDYJQ1 于 2017-8-26 23:06 编辑

F:\BIAO\TEST11.TXT内容为
http://zisea.com/zscontent.asp?uni=123105
http://zisea.com/zscontent.asp?uni=123106
http://zisea.com/zscontent.asp?uni=123107
http://zisea.com/zscontent.asp?uni=123108
http://zisea.com/zscontent.asp?uni=123109
http://zisea.com/zscontent.asp?uni=123110

批处理内容为
wget -P "F:\BIAO\11" -i "F:\BIAO\test11.txt" --html-extension -p -k

不知网站怎么回事，太快了就断开了，不能下载了，如何设定在批量下载的时候完成一下网页后，5秒后再下载下一个网页，不知能否实现，先谢了！

QIAOXINGXING · 发表于 2014-5-18 10:21:20

wget有一个等待的选项：
-w, --wait=SECONDS wait SECONDS between retrievals.
--waitretry=SECONDS wait 1...SECONDS between retries of a retrieval.

DDDYJQ1 · 发表于 2014-5-18 10:56:18

谢了，是这样吗？
wget -P -W 5 "F:\BIAO\11" -i "F:\BIAO\test11.txt" --html-extension -p -k
可是没有看到运行

DDDYJQ1 · 发表于 2014-5-18 20:11:47

请各位好心人再帮忙看看

terse · 发表于 2014-5-19 00:19:05

这样试呢

复制代码

DDDYJQ1 · 发表于 2014-5-19 08:57:21

谢了，就是这样，很好用

DDDYJQ1 · 发表于 2017-8-26 23:04:45

https://www.lszj.com/tag/jianghuating_3074_1.html
https://www.lszj.com/tag/jiangjieshi_29_1.html
这种格式的如何批量下载？
wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k不能用了

DDDYJQ1 · 发表于 2017-8-27 21:19:46

本帖最后由 DDDYJQ1 于 2017-8-27 23:09 编辑

F:\BIAO\TEST11.TXT内容为
https://www.lszj.com/tag/jianghuating_3074_1.html
https://www.lszj.com/tag/jiangjieshi_29_1.html
这种格式的如何批量下载？
wget -P "F:\BIAO\11" -w5 -i "F:\BIAO\test11.txt" --html-extension -p -k不能用了
请问一下要如何改进？

3518228042 · 发表于 2017-8-28 08:16:59

wget.exe损坏？丢失？还是怎么的，应该行的啊

DDDYJQ1 · 发表于 2017-8-28 20:57:38

没损坏，也没丢失

DDDYJQ1 · 发表于 2017-8-28 20:58:49

请问一下要如何改进？

DDDYJQ1 · 发表于 2017-8-29 22:20:49

请各位大神帮忙想想！

hlzj88 · 发表于 2017-8-29 22:55:21

wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" --no-check-certificate -c -t 0 -T 40 -i test11.txt

复制代码

测试下载成功
这一句有两个作用，1 仿浏览器访问，避免wget被拒绝 2 可以下载加密网页https，如果要区分，忘了，这是我用wget的标配语句。

DDDYJQ1 · 发表于 2017-8-29 23:04:58

谢了，就是这样，谢谢

DDDYJQ1 · 发表于 2018-4-10 22:49:54

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文件操作] 请教一个批量下载网页的问题？