找回密码
 注册
搜索
[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
查看: 27757|回复: 6

[文本处理] [已解决]批处理如何统计词频(统计重复行的数量/每行重复出现的次数)?

[复制链接]
发表于 2015-5-17 18:59:04 | 显示全部楼层 |阅读模式
本帖最后由 pcl_test 于 2016-8-13 11:22 编辑

请问批处理可以统计词频吗?
4字一行,只统计4字词组出现的频率。
如:
  1. 一丘之貉
  2. 一丝不挂
  3. 一丝不苟
  4. 一事无成
  5. 一亲对老
  6. 一分身又
  7. 一叶知秋
  8. 一叶知秋
  9. 一叶障目
  10. 一叶障目
  11. 一往无前
  12. 一往无前
  13. 一往无前
复制代码
实现如下:
  1. 一丘之貉        1
  2. 一丝不挂        1
  3. 一丝不苟        1
  4. 一事无成        1
  5. 一亲对老        1
  6. 一分身又        1
  7. 一叶知秋        2
  8. 一叶障目        2
  9. 一往无前        3
复制代码

评分

参与人数 1PB +2 收起 理由
Batcher + 2 感谢给帖子标题标注[已解决]字样

查看全部评分

发表于 2015-5-17 19:24:59 | 显示全部楼层
sort a.txt | uniq -c

评分

参与人数 1技术 +1 收起 理由
每天几分 + 1 谢谢

查看全部评分

发表于 2015-5-17 19:28:15 | 显示全部楼层
本帖最后由 pcl_test 于 2015-5-30 14:33 编辑
  1. @echo off & setlocal enabledelayedexpansion
  2. for /f "delims=" %%a in ('type "测试.txt"') do (
  3. set "str=%%a"
  4. if not defined #%%a# (
  5. set n=0
  6. for /f %%b in ('findstr /c:"%%a" "测试.txt"') do set /a n+=1
  7. echo;%%a !n!
  8. set "#%%a#=def"
  9. )
  10. )
  11. pause
复制代码

评分

参与人数 1技术 +1 收起 理由
每天几分 + 1 谢谢

查看全部评分

发表于 2015-5-17 21:27:26 | 显示全部楼层
回复 3# pcl_test


    以前联盟有个办法:
  1. @echo off & setlocal enabledelayedexpansion
  2. for /f "delims=" %%a in ('type "测试.txt"') do set /a "#%%a#+=1"
  3. for /f "tokens=1* delims=#=" %%a in ('set #') do echo %%a %%b
  4. pause
复制代码

评分

参与人数 2技术 +2 收起 理由
chenjunyi88 + 1 简洁实用!
taofan712 + 1 妙哉!

查看全部评分

发表于 2015-5-17 21:35:53 | 显示全部楼层
回复 4# CrLf
soga,感谢分享
发表于 2015-5-17 22:25:59 | 显示全部楼层
本帖最后由 pcl_test 于 2016-8-13 11:18 编辑

http://www.bathome.net/s/tool/index.html?key=gawk

  1. gawk "{a[$0]++}END{for (b in a)print b,a[b]}" "测试.txt">"结果.txt"
复制代码
发表于 2016-10-9 21:04:47 | 显示全部楼层
win7以上系统
  1. powershell -c "gc '测试.txt'|group $_|%%{$_.name+' '+$_.count}"
  2. pause
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|批处理之家 ( 渝ICP备10000708号 )

GMT+8, 2026-3-20 22:01 , Processed in 0.032701 second(s), 18 queries .

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表