[其他] 【已解决】文本记录数值庞大，如何实现按出现次数排序

思想之翼

下述代码将文本记录数值，按出现次数排序：
331 445 550 567
008 023 327 550 689
142 350 331 449 550 653
结果为：
550 （出现3次）
331 （出现2次）
445 550 567 008 023 327 689 142 350 449 653 （出现1次）

@set @n=0;/* & echo off
set "x=1000"
md "文件夹2" 2>nul
pushd "文件夹1\"
dir /b *.txt|cscript -nologo -e:jscript "%~0" "%x%"
pause & exit/b & rem */

fso = new ActiveXObject("Scripting.FileSystemObject");
while (!WScript.StdIn.AtEndOfStream) {
    f = WScript.StdIn.ReadLine();
    try {
        txt = fso.OpenTextFile(f, 1).ReadAll();
        txt = getMaxNum(txt, WScript.Arguments(0));
    } catch(e) { txt = "" }
    fso.CreateTextFile("..\\文件夹2\\"+f, true).Write(txt);
}

function getMaxNum(str, arg) {
    dic = new ActiveXObject("Scripting.Dictionary");
    for (i=1000; i<=1999; i++) {
        num = (i + "").substr(1);
        k = str.split(num).length;
        if (k > 1) {
            if (dic.Exists(k)) {
                dic.Item(k) += " " + num;
            } else dic.Add(k, num)
        }
    }

    ar = (new VBArray(dic.Keys())).toArray();
    s = "";

    ar.sort(function(x,y){return y-x});
    if (arg > ar.length) arg = ar.length;
    for (i=0; i<arg; i++) {
        s += dic(ar[i]) + "\r\n";
    }
    return s
}
复制代码

问题：若文本记录数值达3GB，该代码出错。
请教：有无其他方法，实现按出现次数排序？

jyswjjgdwtdtj

你倒是说哪里错了？
想办法把那个readall改了 这么高肯定内存不够
还有既然只用了js为什么还要用bat套一层？纯属有问题
还有js有原生的”对象“为什么还要用dictionary？

思想之翼

回复 2# jyswjjgdwtdtj

cscript.e×e-应用程序错误
0x000007FFA4A432751指令用了00000000143009000内存。该内存不能为written。
要终止程序，请弹击确定。

jyswjjgdwtdtj

做了个没能排序的

var fso = new ActiveXObject("Scripting.FileSystemObject");
var f=fso.OpenTextFile("1.txt",1);
var o=fso.CreateTextFile("2.txt",true)
var text="";
var b={};
var c={};
while(!f.AtEndOfStream){
text=f.ReadLine();
for(var s=text.split(" "),l=s.length,i=0;i<l;i++){
b[s[i]]=tn(b[s[i]])+1
}
}
function tn(n){
return(n==undefined?0:+n);
}
for(var i in b){
if(c[b[i]]==undefined) c[b[i]]=[];
c[b[i]].push(i);//b[i]是次数 push的内容是当前次数的值
}
delete b;
复制代码

可以把同个次数的放到一起 但是排序不会
一想到要排序对象搞来搞去的 就觉得脑子要炸了 拜拜

czjt1234

我用vbs调用文本数据库统计了一个2G文件的排序，耗时210秒
惭愧惭愧，就不发出来了

等待第三方软件吧

czjt1234

话说这么大的数据量，居然不用数据库，也真是服了

jyswjjgdwtdtj

回复 5# czjt1234


    第三方软件也没区别吧 直接在c++里面读估计会快很多很多
第一次见到3gb的文本文件

Gin_Q

如果内存够都话，应该不会报错。

Gin_Q

你贴一段文本出来，我用Python试试。不需要太大。我看看文本格式。

hfxiang

回复 1# 思想之翼
没有制备3gb的数据来测试，如下指令用1楼的示例数据测试是有效的

gawk "{for(i=1;i<=NF;i++){if(!a[$i]++)b[++j]=$i;if(0+N<a[$i])N=a[$i]}}END{for(k=1;k<=j;k++)c[a[b[k]]]=c[a[b[k]]]b[k]\" \";s=asorti(c,tA);for(i=s;i>0;i--)print c[tA[i]]}" 1.txt>2.txt
复制代码

思想之翼

回复 10# hfxiang

感谢！gawk代码单独使用，结果正确。若在如下循环语句中使用，则结果为空。恳望指点。

@echo off
for /l %%f in (1000001,1,1000100) do (
    setlocal enabledelayedexpansion
    set p=%%f
       gawk "{for(i=1;i<=NF;i++){if(!a[$i]++)b[++j]=$i;if(0+N<a[$i])N=a[$i]}}END{for(k=1;k<=j;k++)c[a[b[k]]]=c[a[b[k]]]b[k]\" \";s=asorti(c,tA);for(i=s;i>0;i--)print c[tA]}" d:\!p:~1!\!p:~1!.txt > e:\!p:~1!\!p:~1!.txt
    endlocal
)
exit

77七

回复 11# 思想之翼


   可能和这个原因是一样的。http://bbs.bathome.net/redirect.php?goto=findpost&ptid=66801&pid=271170

思想之翼

回复 12# 77七

谢谢！在gawk命令中的 ”!“ 前加个 “^” 转义