[其他] [已解决]如何提取海词在线词典中的“海词释义常用度分布图”

qixiaobin0715

给出一个单词列表文本文件，如何提取对应的海词释义常用度分布图。
http://dict.cn/

qixiaobin0715

两位大神给出的代码提取结果均符合我期望的结果。谢谢！！！

flashercs

回复 45# qixiaobin0715


    先前我对制表符理解有误，是需要4列数据吧？已修改。

terse

修正一下

@set @i=0 /* & @echo off & cscript.exe -NoLogo -E:JScript %0 <单词列表.txt >结果.txt& pause & exit */
var xmlhttp = new ActiveXObject("Msxml2.XMLHTTP");
function GetContent(url) {
        xmlhttp.open("GET", url ,false);
        xmlhttp.send();
        return(xmlhttp.responseText);
}
function getByClass(tag,Classname){
        if(html.getElementsByClassName){
                return html.getElementsByClassName(Classname);
        }
        var tags = html.getElementsByTagName(tag);
        for(var i = 0,len = tags.length; i < len; i++){
                if( tags[i].className ==Classname){
                         return(tags[i]);
                }
        }
}
while (!WSH.StdIn.AtEndOfStream) {
        var s = WSH.StdIn.ReadLine();
        var str = s;
        var url = "http://dict.cn/" + str;
        var html = new ActiveXObject("htmlfile");
        html.write(GetContent(url));
        try { 
                var ul = getByClass("div","basic clearfix");
                str += "\t" + ul.innerText.replace(/[\r\n]/gm,'') + "。\t";
                if (html.getElementById("dict-chart-basic")) {
                        var obj = new Function("return" + unescape(html.getElementById("dict-chart-basic").data))();
                        for(var key in obj ) { str += obj[key].percent > 5 ? obj[key].sense + ":"+ obj[key].percent + "%, " : ""};
                }
                var div = getByClass("div","layout sort");
                if (div) {
                        str+= '\t'
                        var b = div.getElementsByTagName("b");
                        var ol = div.getElementsByTagName("ol");
                        for (var i=0; i<ol.length; i++) {
                                var s =b[i];
                                if (s) { str+= s.innerText + '<br>' };
                                var li= ol[i].getElementsByTagName("li");
                                for (var j=0, len = li.length; j<len; j++) {
                                        if (j < 2) {str+= j+1 + '. ' + li[j].innerText + '<br>' };
                                }
                        }
                }
       }
        catch (e) {str += "\t" + "错误"};
        WSH.Echo(str.replace(/\r?\n/g,'<br>'));
}
复制代码

terse

回复 47# qixiaobin0715
将25行 改为下面的试

var ul = getByClass("div","basic clearfix");
复制代码

qixiaobin0715

回复 46# terse

未能提取的是一些不存在释义常用度分布图的单词，我还是需要提取释义和例句。如：

do
one
order
mine
communicate
guarantee
operator
复制代码

terse

回复 44# qixiaobin0715
把漏提的发上来 看看什么问题

qixiaobin0715

回复 38# qixiaobin0715

提取的文件增加制表符对齐相同内容问题，用文本编辑器打开，用正则表达式替换已解决。

qixiaobin0715

回复 42# terse

不错。就是速度稍慢，少部分单词漏提。

qixiaobin0715

回复 41# flashercs

完美！！！

terse

怎么这么复杂呢 混编的也行吧

@set @i=0 /* & @echo off & cscript.exe -NoLogo -E:JScript %0 <单词列表.txt >结果.txt& pause & exit */
var xmlhttp = new ActiveXObject("Msxml2.XMLHTTP");
function GetContent(url) {
        xmlhttp.open("GET", url ,false);
        xmlhttp.send();
        return(xmlhttp.responseText);
};
function getByClass(tag,Classname){
        if(html.getElementsByClassName){
                return html.getElementsByClassName(Classname);
        }
        var tags = html.getElementsByTagName(tag);
        for(var i = 0,len = tags.length; i < len; i++){
                if( tags[i].className ==Classname){
                         return(tags[i]);
                }
        }
}
while (!WSH.StdIn.AtEndOfStream) {
        var s = WSH.StdIn.ReadLine();
        var str = s;
        var url = "http://dict.cn/" + str;
        var html = new ActiveXObject("htmlfile");
        html.write(GetContent(url));
        var ul = getByClass("ul","dict-basic-ul");
        if (ul) {
                str += "\t" + ul.innerText.replace(/[\r\n]/gm,'') + "。\t"
                if (html.getElementById("dict-chart-basic")) {
                        var obj = new Function("return" + unescape(html.getElementById("dict-chart-basic").data))();
                        for(var key in obj ) { str += obj[key].percent > 5 ? obj[key].sense + ":"+ obj[key].percent + "%, " : ""};
                };
                var div = getByClass("div","layout sort");
                if (div) {
                        str+= '\t'
                        var b = div.getElementsByTagName("b");
                        var ol = div.getElementsByTagName("ol");
                        for (var i=0; i<ol.length; i++) {
                                var s =b[i];
                                if (s) { str+= s.innerText + '<br>' };
                                var li= ol[i].getElementsByTagName("li");
                                for (var j=0, len = li.length; j<len; j++) {
                                        if (j < 2) {str+= j+1 + '. ' + li[j].innerText + '<br>' };
                                };
                        };
                        WSH.Echo(str.replace(/\r?\n/g,'<br>'));
                };
       };
       else { str += "\t" + "错误" };
};
复制代码

flashercs

回复 40# qixiaobin0715


    改

qixiaobin0715

回复 39# flashercs

已扫码。
极少部分单词出现问题，显示源页面，并且提取不到。比如：face,contact,confront,encounter等。

flashercs

<#*,:&cls
@echo off
pushd "%~dp0"
Powershell -NoProfile -ExecutionPolicy RemoteSigned -Command ". ([ScriptBlock]::Create((Get-Content -LiteralPath \"%~0\" -ReadCount 0 | Out-String ))) "
popd
pause
exit /b
#>
$VerbosePreference = "Continue"
$inputFile = "单词列表.txt"
$outputFile = "结果.txt"
Get-Content -LiteralPath $inputFile -OutBuffer 100 | ForEach-Object -Begin {
  $sw = New-Object -TypeName System.IO.StreamWriter -ArgumentList $outputFile, $false, ([System.Text.Encoding]::Default), 65536
  # webclient settings
  $webclient = New-Object -TypeName System.Net.WebClient
  $webclient.BaseAddress = 'http://dict.cn/'
  $webclient.Encoding = [System.Text.Encoding]::UTF8
  $webclient.Headers.Add("Accept", "text/html, application/xhtml+xml, application/xml; q=0.9, */*; q=0.8")
  $webclient.Headers.Add("Accept-Encoding", "gzip")
  $webclient.Headers.Add("Accept-Language", "en-US, en; q=0.8, zh-Hans-CN; q=0.5, zh-Hans; q=0.3")
  # xml parser
  $xmldoc = New-Object -TypeName System.Xml.XmlDocument
  # re
  $remain = [regex]'(?si)<div\s+class="main"[^>]*>.*?(?=<div\s+class="righter")'
  # $recontent = [regex]'(?si)<div\s+class="word"[^>]*>.*?(?=<div\s+class="section[^"]*"[^>]*>)'
  $rejs = [regex]'(?si)<script[^>]*>.*?</script>'
  # $resent = [regex]'(?si)(?<=<h3[^>]*>例句</h3>).*?(?=<h3)'
  $reXMLEntities = [regex]'(?si)&[^;<]*(;|(?=<|$))'
  $evaluator = { 
    param($m)
    $s = $m.Value; 
    if ($m.Groups[1].Value -eq '') {
      $s += ';' 
    }
    [System.Web.HttpUtility]::HtmlEncode([System.Web.HttpUtility]::HtmlDecode($s)) 
  } -as [System.Text.RegularExpressions.MatchEvaluator]
  # stringbuilder
  $strbuilder = New-Object -TypeName System.Text.StringBuilder
  Add-Type -AssemblyName System.Web.Extensions
  $JSON = New-Object -TypeName System.Web.Script.Serialization.JavascriptSerializer -ErrorAction Stop
  # $vsaengine = [Microsoft.JScript.Vsa.VsaEngine]::CreateEngine()
  Add-Type -AssemblyName System.Web
} -Process {
  Write-Verbose "Fetching $_ ..."
  for ($i = 2; $i -ge 0; $i--) {
    try {
      $readstream = $webclient.OpenRead($_)
      Write-Verbose "Fetch $_ success"
      break
    } catch {
      $_ | Out-String | Write-Host -ForegroundColor Red
    }
  }
  if ($readstream) {
    try {
      $gzipstream = New-Object -TypeName System.IO.Compression.GZipStream -ArgumentList $readstream, ([System.IO.Compression.CompressionMode]::Decompress)
      $sr = New-Object -TypeName System.IO.StreamReader -ArgumentList $gzipstream, ([System.Text.Encoding]::UTF8)
      $strhtml = $sr.ReadToEnd()
      $match = $remain.Match($strhtml)
      # div.main matched
      if ($match.Success) {
        Write-Verbose "Match $_ success"
        # convert html to xml
        $strxml = $rejs.Replace($match.Value, '') -replace '(?s)<!--.*?-->' -replace '<([^\x00-\x7e]+)>', '&lt;$1&gt;' -replace '<br>', '<br/>'
        $strxml = $reXMLEntities.Replace($strxml, $evaluator)
        $xmldoc.LoadXml($strxml)
        $strbuilder.Length = 0
        $nodeWord = $xmldoc.DocumentElement.SelectSingleNode('div[@class="word"]')
        # word-cont
        [void]$strbuilder.Append($nodeWord.SelectSingleNode('.//h1[@class="keyword"]/text()').Value).Append("`t")
        # dict-translation
        [void]$strbuilder.Append( ($nodeWord.SelectNodes('.//ul/li[position()<last()]') | ForEach-Object { $_.innerText }) -join " " ).Append("`t")
        # dict-chart
        $nodeChartBasic = $nodeWord.SelectSingleNode('.//div[@id="dict-chart-basic"]/@data')
        # chart basic exist
        if ($nodeChartBasic) {
          $strjson = [System.Uri]::UnescapeDataString($nodeChartBasic.Value)
          $jsobj = $JSON.DeserializeObject($strjson)
          foreach ($field in $jsobj.Keys) {
            [void]$strbuilder.Append($jsobj.Item($field).Item('sense')).Append(':').Append($jsobj.Item($field).Item('percent')).Append(',')
          }
          [void]$strbuilder.Remove($strbuilder.Length - 1, 1)
        }
        [void]$strbuilder.Append("`t")
        
        # 例句
        # $match1 = $resent.Match($strhtml)
        $nodeSent = $xmldoc.DocumentElement.SelectSingleNode('div[@class="section sent"]/h3[text()="例句"]/following-sibling::div')
        if ($nodeSent) {
          try {
            # $xmldoc.LoadXml(($match1.Value -replace '<br>', '<br/>' -replace '<([^\x00-\x7e]+)>', '&lt;$1&gt;'))
            $nodeSent.SelectNodes('ol') | ForEach-Object {
              # 用作形容词 (.adj)
              [void]$strbuilder.Append(($_.PreviousSibling.InnerText -replace '\s+' -replace '\(', ' $&')).Append('<br>')
              $_.SelectNodes('li[position()<3]') | ForEach-Object -Begin { $index = 0 } -Process {
                $index++;
                [void]$strbuilder.Append("$index.$(($_.SelectNodes('text()')|ForEach-Object {$_.Value}) -join '<br>')").Append('<br>')
              }
            }
            [void]$strbuilder.Remove($strbuilder.Length - 4, 4)
          } catch {
            $_ | Out-String | Write-Host -ForegroundColor Red
          }
        } else {
          Write-Verbose "没有例句."
        }
        # output result string
        $sw.WriteLine(($strbuilder.ToString() -replace "[\r\n]+"))
      } else {
        Write-Verbose "Match $_ failed"
      }
    } catch {
      $_ | out-string | Write-Host -ForegroundColor Red
    } finally {
      $readstream.Close()
      Remove-Variable readstream
      if ($gzipstream) {
        $gzipstream.Dispose()
      }
      if ($sr) {
        $sr.Dispose()
      }
    }
  } else {
    $sw.WriteLine($_)
  } 
} -End {
  $sw.Dispose()
  $webclient.Dispose()
}
复制代码

qixiaobin0715

回复 38# flashercs

挺棒的！
经过测试，还有点小问题及要求：
1.下列单词提取时，有错误提示，例句未能提取：

African-American
CEO
ie
allegation
annually
anyone
boyfriend
businessman
celebration
Christianity
courtroom
educator
girlfriend
Hispanic
incredibly
initially
Iraqi
Israeli
Jewish
juror
longtime
mainstream
obviously
originally
oversee
Palestinian
pastor
playoff
PM
precisely
publisher
rebuild
regularly
reportedly
significantly
tablespoon
teammate
typically
ultimately
workplace
yeah
复制代码

2.网页上本身没有释义度分布图的单词，释义和例句之间直接用制表符分隔，能否增加一个制表符，后续处理需要相同的部分对齐。
现在提取出来的形式是：

PC	abbr.个人计算机(=personal computer)	<br>1.Maintenance of PC is in my element.<br>我对电脑的维修保养很在行。
复制代码

需要的格式是：

PC	abbr.个人计算机(=personal computer)		<br>1.Maintenance of PC is in my element.<br>我对电脑的维修保养很在行。
复制代码