【求助】求一个最新的单文件的gawk

87zrjojo · 发表于 1 小时前

本帖最后由 87zrjojo 于 2026-10-14 09:38 编辑

背景：我想自己编码一个码表对比脚本，因为网上下载的码表词库都比较大，一般几十万条，用excel处理起来非常卡顿费劲，发现用awk来处理2个码表的不同非常快，一般只需要1秒钟，但旧版的gawk好像不支持直接处理utf-8文件，新版本又用不了，所以想求一个能直接使用的单文件gawk。论坛大佬多，求分享一下！

在论坛找到的单文件的gawk只有GNU Awk 4.1.0这个版本可以在win7中正常使用，其它的新版本都不能用（报错），不知道是不是缺少什么依赖，也没看到相关配置方法。所以我想找一个不需要其它依赖的单文件gawk，不知道有没有这样的编译好的工具。

下面是我用deepseek帮我写的一个码表对比的awk脚本，目前测试可用，但我还想实现一个功能，就是将码表格式进行相互转换，比如将“词条 \t 编码 [\t 词频]”这样的词条，转换成“编码词条 [词频]”以及“编码词条1 词条2……”这样的格式（以及相互转换），不知道能不能用awk脚本实现，AI写出来的不对，顺便求大神帮忙添加一下功能。

compare.awk

# ============================================================
# 功能：比较 ck1.txt 与 ck2.txt 的"词条+编码"
# ck1.txt（待处理码表）：词条 \t 编码 [\t 词频]
# ck2.txt（参照码表）：词条 \t 编码 [\t 词频]
# 输出：
# ck1_comm.txt —— ck1 中与 ck2 "词条+编码"一致的行
# ck1_diff.txt —— ck1 中与 ck2 "词条+编码"不一致的行
#
# 环境要求：gawk 4.1.0（Windows 版），运行时加 -b 参数
# 为什么用 -b（--characters-as-bytes）：
# gawk 4.1.0 在 Windows 上不能正确解析 UTF-8 多字节字符，
# 会把一个汉字当成 3 个独立字节处理。加 -b 后 gawk 完全
# 按字节流处理，不做任何字符集转换。
#
# 说明：
# 1. awk 原样输出整行，因此 ck1.txt 若带词频会自动保留。
# 2. 兼容 UTF-8 BOM 与 Windows CRLF 换行。
# 3. 输出文件名由批处理通过 -v 传入，此处只负责逻辑。
# ============================================================
BEGIN {
FS = "\t" # 输入字段分隔符：Tab
OFS = "\t" # 输出字段分隔符：Tab
# 若批处理未传入输出文件名，则使用默认值，保证脚本可独立运行
if (commFile == "") commFile = "ck1_comm.txt"
if (diffFile == "") diffFile = "ck1_diff.txt"
}
# ---------- 第1个文件：ck2.txt（参照码表） ----------
NR == FNR {
sub(/\r$/, "") # 去掉行尾 \r
# 去掉 UTF-8 BOM（仅第一行第一个字段可能出现）
# BOM 是 EF BB BF 三个字节，在 -b 模式下按字节匹配即可
if (FNR == 1) sub(/^\xEF\xBB\xBF/, "", $1)
key = $1 "\t" $2 # 以"词条+编码"为唯一键
ref[key] = 1 # 存入参照集合
next # 读完 ck2 后跳过下面的处理块
}
# ---------- 第2个文件：ck1.txt（待处理码表） ----------
{
sub(/\r$/, "")
if (FNR == 1) sub(/^\xEF\xBB\xBF/, "", $1)
key = $1 "\t" $2
if (key in ref) {
print $0 > commFile # 一致 → 写入 comm 文件
} else {
print $0 > diffFile # 不一致 → 写入 diff 文件
}
}

复制代码

调用批处理compare.bat

@echo off
setlocal
REM ============================================================
REM 码表比较批处理（默认用 ck1.txt / ck2.txt）
REM
REM 默认文件名：
REM ck1.txt 待处理码表（码表1）
REM ck2.txt 参照码表（码表2）
REM ck1_comm.txt 输出：相同行
REM ck1_diff.txt 输出：不同行
REM
REM 环境要求：gawk 4.1.0（Windows 版）
REM
REM 关键：调用 gawk 时使用 -b 参数，按字节处理，
REM 避免 gawk 4.1.0 在 Windows 上解析 UTF-8 出错。
REM
REM 注意：不设置 chcp 65001，保持 cmd 默认代码页，
REM 避免 Win7 下 cmd 对 UTF-8 支持不佳的问题。
REM
REM 如需自定义文件名：直接修改下面 2 个 set 变量即可。
REM 也可以运行时临时指定：
REM compare.bat 待处理码表.txt 参照对比码表.txt
REM ============================================================
REM ---------- gawk 路径 ----------
REM 如果 gawk 不在 PATH 中或未在当前目录，请填写完整路径，例如：
REM set AWK="C:\gawk-4.1.0\bin\gawk.exe"
set AWK=gawk.exe
REM ---------- 默认文件名（可自行修改） ----------
set CK1=ck1.txt
set CK2=ck2.txt
REM ---------- 若运行时传入了参数，则覆盖默认值 ----------
if not "%~1"=="" set CK1=%~1
if not "%~2"=="" set CK2=%~2
REM ---------- 自动生成输出文件名（基于 CK1 的主名） ----------
for %%F in ("%CK1%") do set BASENAME=%%~nF
set COMM=%BASENAME%_comm.txt
set DIFF=%BASENAME%_diff.txt
REM ---------- 检查输入文件是否存在 ----------
if not exist "%CK1%" (
echo [ERROR] Input file not found: %CK1%
pause
exit /b 1
)
if not exist "%CK2%" (
echo [ERROR] Reference file not found: %CK2%
pause
exit /b 1
)
REM ---------- 删除旧结果，避免追加混淆 ----------
if exist "%COMM%" del "%COMM%"
if exist "%DIFF%" del "%DIFF%"
REM ---------- 调用 gawk ----------
REM 参数顺序很重要：先参照文件(ck2)，再待处理文件(ck1)
REM -b 按字节处理，规避 gawk 4.1.0 的 UTF-8 解析问题
REM -v 把输出文件名传给 awk 脚本
REM -f 指定 awk 脚本文件
%AWK% -b -v commFile="%COMM%" -v diffFile="%DIFF%" -f compare.awk "%CK2%" "%CK1%"
echo.
echo Done.
echo Same lines : %COMM%
echo Diff lines : %DIFF%
echo.
pause

复制代码

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[文本处理] 【求助】求一个最新的单文件的gawk