[已解决]依表提取表内所有网页的链接

hlzj88

首先请参见  http://www.bathome.net/thread-44783-1-8.html 。当我修改为依表批量提取时，不仅慢，还有的提取不到链接。因此在此麻烦你了。
win7
依据先好先得原则。。谢谢。表在附件里



附件留下，有兴趣的坛友不妨试试看看。

hlzj88

回复里请留下微信号。我好找你。

hlzj88

经过一天努力，终于自己能用三种链接方式得到绝大部分含链接的文件。但是问题来了，里面的内容没有汉字，愁死个人。
咋就这么难呢。
点击这里，希望你能帮助一下。

本贴结贴。

happy886rr

回复 3# hlzj88

1. 1>1/* :
   
2. @echo off
   
3. REM 开启变量延迟
   
4. setlocal enabledelayedexpansion
   
5. 
   
6. REM 设置头条网址
   
7. set "URL=http://www.toutiao.com/"
   
8. 
   
9. REM 遍历文件源，提取每个头条ID
   
10. for /f "tokens=1,2 delims=|" %%i in (4.txt) do (
    
11.         set/a "i+=1"
    
12.         set "LIST[!i!]=%%i#%%j.html"
    
13. )
    
14. 
    
15. REM 获取列表长度
    
16. set "LIST_SIZE=!i!"
    
17. 
    
18. REM 已下载计数
    
19. set "ALREADY_GET=0"
    
20. 
    
21. REM 主体循环
    
22. :LOOP
    
23.         REM 遍历列表数组
    
24.         for /l %%N in (1,1,!LIST_SIZE!) do (
    
25.                 if not "!LIST[%%N]!"=="" (
    
26.                         for /f "tokens=1,2 delims=#" %%i in ("!LIST[%%N]!") do (
    
27.                                 echo GET[!ALREADY_GET!/!LIST_SIZE!]: "%%j"
    
28.                                 if not exist ".\%%j" (
    
29.                                         cscript -nologo -e:jscript "%~f0" "%URL%" "%%i" "%%j"
    
30.                                 )
    
31.                                 if exist ".\%%j" (
    
32.                                         set/a "ALREADY_GET+=1"
    
33.                                         set "LIST[%%N]="
    
34.                                         echo OK.
    
35.                                 )
    
36.                         )
    
37.                 )
    
38.         )
    
39.         REM 执行完毕
    
40.         if !ALREADY_GET! equ !LIST_SIZE! (
    
41.                 set/p =END.
    
42.                 exit/b
    
43.         )
    
44.         goto :LOOP
    
45. */
    
46. //////////////////////////////////////////////////////////////
    
47. function GetTTList(hostURL)
    
48. {
    
49.         var xmlHTTP = new ActiveXObject('Msxml2.XMLHTTP');
    
50.         xmlHTTP.open('GET', hostURL, false);
    
51.         xmlHTTP.send();
    
52.         respJson=xmlHTTP.responseText;
    
53.         if(respJson)
    
54.         {
    
55.                 var fso = new ActiveXObject('Scripting.FileSystemObject');
    
56.                 var f = fso.openTextFile(WScript.arguments(2), 2, true);
    
57.                 var parseData = (eval('('+respJson+')'))['data'];
    
58.                 if(parseData.length > 0)
    
59.                 {
    
60.                         for(var i=0; i<parseData.length; i++)
    
61.                         {
    
62.                                 f.writeLine('<a href="' + WScript.arguments(0) + parseData[i]['source_url'] + '" target="_blank">' + '[' + eval('i+1') + '].' + parseData[i]['title'] + '</a>' + '<br>');
    
63.                         }
    
64.                 }else{
    
65.                         f.writeLine('<b>Not found any articles!</b>');
    
66.                 }
    
67.                 f.close();
    
68.         }
    
69. }
    
70. var hostURL = WScript.arguments(0) + '/c/user/article/?page_type=1&user_id=' + WScript.arguments(1) + '&max_behot_time=0&count=256';
    
71. GetTTList(hostURL);
    
72. //////////////////////////////////////////////////////////////
    

复制代码

hlzj88

回复 4# happy886rr

看到你发帖时间，很晚的，谢谢。

你的代码经使用，能够成功下载所有的链接。非常感谢。