apang

保存为test.bat，需要先下载HtoX32c.exe与批处理放在一起，处理后的txt为ansi编码

@set @n=0;/* & echo off
md Result 2>nul
pushd Result\
cscript -nologo -e:jscript "%~0"
"%~dp0HtoX32c" /IP /O0 *.html 2>nul
del *.html
pause & exit/b & rem */

var url = "http://www.baidu.com/s?wd=title:管理 site:www.fjdh.cn&pn=";
var intTotal = 0;
var re = /"title":"(.+?)","url":"(.+?)"/ig;

//获取百度搜索结果中第1～61页的标题、地址，以标题名称作为html文件名
for(var i=0; i<61; i++){
        var http = new ActiveXObject("MSXML2.ServerXMLHTTP");
        try {
                http.open("GET", url + i*10, false);
                http.send();
                var s = GetText(http.responseBody);
                while((arr = re.exec(s)) != null){
                        http.open("GET", arr[2], false);
                        http.send();
                        SaveFile(http.responseBody, arr[1]);
                }
        } catch(e) {WScript.Echo(e.message)}
        http = null;
}

function GetText(bin){
        with(new ActiveXObject("ADODB.Stream")){
                Mode = 3;
                Type = 1;
                Open();
                Write(bin);
                Position = 0;
                Type = 2;
                CharSet = "UTF-8";
                return ReadText()
        }
}

//下载、保存html文件
function SaveFile(bin, strName){
        strName = strName.replace(/[\/\|\\:<>\?\*]/g, ""); //格式化文件名
        var fso = new ActiveXObject("Scripting.FileSystemObject");
        if(fso.FileExists(strName + ".html")) {return ""} else intTotal+=1;
        WScript.Echo((intTotal+1000+"").substr(1) + " " + strName + ".html");

        with(new ActiveXObject("ADODB.Stream")){
                Mode = 3;
                Type = 1;
                Open();
                Write(bin);
                Position = 0;
                Type = 2;
                CharSet = "UTF-8";
                //保留“正文内容”到“标签：”之间的内容
                var txt = ReadText().replace(/[\s\S]+>正文内容<.*\n/, "").split(">标签：<")[0];
                txt = txt.replace(/&[a-z]+;/g, ""); //删除导致乱码的字符
                Position = 0;
                CharSet = "GBK";
                WriteText(txt);
                SetEOS;
                SaveToFile(strName + ".html", 2);
        }
}
复制代码

apang

回复 13# lxh623


    已修改
试了下，百度搜索结果最多61页，每页10个html文件，去掉重复后结果为580个

apang

回复 15# lxh623


    有几个文件没有下载可能与网络有关，也可能代码有缺陷，具体不清楚。

如果仅仅是html转换成txt，可以这样：
PS: HtoX32c 对文件名长度有限制，如果文件名过长直接退出。刚开始转换一直不成功，找好久才发现这个问题。

@set @n=0;/* & echo off
pushd HTML\
dir /b *.html *.aspx|cscript -nologo -e:jscript "%~0"
"%~dp0HtoX32c" /IP /O0 *.$
del *.$
pause & exit/b & rem */

var fso = new ActiveXObject("Scripting.FileSystemObject");
while(!WScript.StdIn.AtEndOfStream){SaveFile(WScript.StdIn.ReadLine())}

function SaveFile(file){
        var i = 0;
        with(new ActiveXObject("ADODB.Stream")){
                Mode = 3;
                Type = 2;
                CharSet = "UTF-8";
                Open();
                LoadFromFile(file);
                var txt =  ReadText().replace(/[\s\S]+>正文内容<.*\n/, "").split(">标签：<")[0];
                txt = txt.replace(/&[a-z]+;/g, "");
                var name = txt.match(/<h1>(.+?)<\/h1>/i)[1];
                name = name.replace(/[\/\|\\:"<>\?\*]/g, "").replace(/(.{128}).*/, "$1");
                var newname = name;
                while(fso.FileExists(newname + ".$")){
                        i++;
                        newname = name + "[" + i + "]";
                }
                Position = 0;
                CharSet = "GBK";
                WriteText(txt);
                SetEOS;
                SaveToFile(newname + ".$");
        }
}
复制代码