找回密码
 注册
搜索
[新手上路]批处理新手入门导读[视频教程]批处理基础视频教程[视频教程]VBS基础视频教程[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动[批处理精品]CMD命令50条不能说的秘密[在线下载]第三方命令行工具[在线帮助]VBScript / JScript 在线参考
楼主: went

命令行编解码工具coder.exe 3.0

[复制链接]
 楼主| 发表于 2026-10-27 15:07:55 | 显示全部楼层
87zrjojo 发表于 2026-10-25 18:50
请问大师这个工具可否支持转换GB18030文件编码?目前测试ansi好像并不支持到GB18030,转换后会变?号,测试 ...

你这个编码的源文件是什么,可以上传一个我测试
 楼主| 发表于 2026-10-27 15:47:28 | 显示全部楼层
本帖最后由 went 于 2026-10-27 15:50 编辑

下载最新版本 https://gitee.com/wentlis/coder/releases
  1. coder -c utf-8 54936 -f CJKA.txt>gb18030.txt
复制代码

其中64936是gb18030对应的编码数字,更多编码参考 https://learn.microsoft.com/zh-c ... de-page-identifiers
CJKA.txt下载自 https://github.com/CNMan/UnicodeCJK-WuBi06
gb18030.txt用记事本打开会显示乱码,需要用vscode打开,选择gb18030编码
发表于 2026-10-27 17:12:53 | 显示全部楼层
went 发表于 2026-10-27 15:47
下载最新版本 https://gitee.com/wentlis/coder/releases

其中64936是gb18030对应的编码数字,更多编码参考 ...

大师威武,我使用命令coder -c utf-8 54936 -f CJK-J.txt>gb18030.txt已经可以正确转换了。

下载有个小问题,https://gitee.com/wentlis/coder/releases压缩包中提供的还是原来的版本,没有更新。我是在源码中单独访问下载的,才是最新版。
发表于 2026-10-28 10:56:02 | 显示全部楼层
本帖最后由 87zrjojo 于 2026-10-28 13:03 编辑
87zrjojo 发表于 2026-10-27 17:12
大师威武,我使用命令coder -c utf-8 54936 -f CJK-J.txt>gb18030.txt已经可以正确转换了。

下载有个小 ...


现在转换到GB18030能行了,但测试反向转换还有一点不顺畅。
1.在win11中使用命令coder -c 54936 utf-8 -f gb18030.txt>test.txt好像不能正确再转换成UTF-8编码,昨晚测试了一下,没有准确验证。
2.在win7中使用命令coder -c 54936 utf-8 -f gb18030.txt>test.txt能够转换成功。
3.在win7中使用命令coder -c ansi utf-8 -f gb18030.txt>test.txt不能正确转换。
4.在win7中使用命令coder -c auto utf-8 -f gb18030.txt>test.txt也不能正确转换(识别GB18030的机制可能也有点问题)。

我觉得既然软件能够实现双向互转,但目前命令参数看着感觉有点混乱,可否统一下所以能转的格式名称,或者在帮助中做一下相关注释说明。
对于ansi可以标注代码页默认表示936,其它代码页转换参考微软文档说明,或者直接增加一项GB18030的参数。看大师是否能再优化一下。
 楼主| 发表于 2026-10-28 15:00:05 | 显示全部楼层
1.手里没有win11,在win10上测试 coder -c 54936 utf-8 -f gb18030.txt>u8.txt 正常
2.这个 coder -c ansi utf-8 -f gb18030.txt>test.txt, 把gb18030强制当作ansi编码,转换会乱码
3.gb18030是gbk的超集,编码无法准确预测,auto不能检测gb18030
4.auto参数能有效检测的编码为:utf-8,utf-8_bom,utf-16_le,utf-16_be,其它编码一律当作ansi.不能检测的编码要手动指定源编码
发表于 2026-10-29 18:37:25 | 显示全部楼层
本帖最后由 87zrjojo 于 2026-11-3 16:08 编辑
went 发表于 2026-10-28 15:00
1.手里没有win11,在win10上测试 coder -c 54936 utf-8 -f gb18030.txt>u8.txt 正常
2.这个 coder -c ansi u ...


感谢大师指导。
发表于 2026-11-3 16:14:08 | 显示全部楼层
本帖最后由 87zrjojo 于 2026-11-3 16:32 编辑

大师,我又发现问题了,我在转换一个GB18030的输入法码表文件到UTF8时,有些文字转换不正常,部分会出现了?乱码,不知道怎么回事?
我使用的命令是:coder -c 54936 utf-8 -f mb_gb18030.txt>mb_to_utf8.txt

转换后,会出现比如,aofw ??类似错误转换。我确定我的原文件是GB18030编码,内容也没有问题。

由于论坛不能传较大的文件我传到网盘中,麻烦大师再检查修复一下呢。
链接: https://pan.baidu.com/s/1ca-Voj9VgyD-oGc0lwoNVg?pwd=code 提取码: code



我用的win7系统,不知是不是CMD不支持UTF-8的缘故,因为用chcp 65001切换代码页,会出现以下这个错误提示:
Active code page: 65001

The system cannot write to the specified device.

所以没法测试在65001代码页中执行转换是否也会是同样的问题。
 楼主| 发表于 2026-11-4 15:25:34 | 显示全部楼层
87zrjojo 发表于 2026-11-3 16:14
大师,我又发现问题了,我在转换一个GB18030的输入法码表文件到UTF8时,有些文字转换不正常,部分会出现了 ...

应该是读到缓冲区边界了,我改成了5k缓冲区,你重新下载试试
发表于 2026-11-4 23:14:35 | 显示全部楼层
went 发表于 2026-11-4 15:25
应该是读到缓冲区边界了,我改成了5k缓冲区,你重新下载试试

如果是更大一些的文件呢?是不是还是会有出错的情况?我测试,还是有些问题。

发现一般从utf-8转到gb18030没什么问题,但从GB18030再转到UTF8还是有很错误。比如「愤愤然」会变成「?叻呷弧?(英文的问号,这次不是中文的问号了)

转换错误.png

这次我下载的是这款输入法免安装版里面的拼音词库base.dict.yaml来测试的。

 楼主| 发表于 2026-11-5 15:40:20 | 显示全部楼层
87zrjojo 发表于 2026-11-4 23:14
如果是更大一些的文件呢?是不是还是会有出错的情况?我测试,还是有些问题。

发现一般从utf-8转到gb180 ...

编码无法预测,不能判断缓冲区最后读取的是1个完整的字符,还是 1/2, 1/4个字符
其它多字节编码如utf8也会有这个问题,所以这个bug暂时无解,只能转换完成后手动检查一遍
发表于 2026-11-5 18:12:24 | 显示全部楼层
went 发表于 2026-11-5 15:40
编码无法预测,不能判断缓冲区最后读取的是1个完整的字符,还是 1/2, 1/4个字符
其它多字节编码如utf8也会 ...

哦,这样啊。还是希望以后有更好的解决方法。
发表于 2026-11-6 16:56:38 | 显示全部楼层
87zrjojo 发表于 2026-11-5 18:12
哦,这样啊。还是希望以后有更好的解决方法。

前天我写代码时,遇到编码转换,我想省一个临时文件,从管道接收多行UTF-8转ANSI,于是让AI修改1楼的工具,AI说修改有难度,直接写了一个新的。
Coder Pipe 1.0 - Windows UTF-8 / ANSI 管道转换器。

  1. Coder Pipe 1.0 - Windows UTF-8 / ANSI 管道转换器
  2. =========================================
  3. 说明
  4. ----
  5. 这是针对 coder 3.0.2 所需“多行管道编码转换”功能编写的独立 C 实现,
  6. 不是 wentlis/coder 汇编项目的重新编译版,也不包含它的哈希、Base64 等功能。
复制代码




后面在此基础上改了这个,你可以试试。

Coder Pipe 1.3
  1. Coder Pipe 1.3 (GB18030 internal converter / 修复卡在 MultiByteToWideChar 的问题)
  2. ============================================================================
  3. 本版基于先前可用的 coder-pipe 独立 C 实现修改,不是原 Gitee coder 汇编项目编译版。

  4. 重要变化:
  5. * GB18030(54936) 不再调用 Windows 的 MultiByteToWideChar(54936) 或
  6.   WideCharToMultiByte(54936),而是使用程序内置 GB18030 映射表。
  7. * GB18030 和 UTF-8 可以双向转换,支持多行管道、空行以及跨 32KB 块的四字节字符。
复制代码


coder-pipe-gb18030-v13.zip (467.86 KB)
发表于 2026-11-6 23:53:07 | 显示全部楼层
77七 发表于 2026-11-6 16:56
前天我写代码时,遇到编码转换,我想省一个临时文件,从管道接收多行UTF-8转ANSI,于是让AI修改1楼的工具 ...

大佬厉害,下载您的试试看
 楼主| 发表于 2026-11-6 23:55:08 | 显示全部楼层
77七 发表于 2026-11-6 16:56
前天我写代码时,遇到编码转换,我想省一个临时文件,从管道接收多行UTF-8转ANSI,于是让AI修改1楼的工具 ...

可用的,可以作为编码转换的专项工具使用
发表于 2026-11-7 15:04:39 | 显示全部楼层
went 发表于 2026-11-5 15:40
编码无法预测,不能判断缓冲区最后读取的是1个完整的字符,还是 1/2, 1/4个字符
其它多字节编码如utf8也会 ...

utf8是可以确定编码的, utf8多字节第二字节以上都是10xxxxxx这样的形式, 前两位都是10, 只要判断前两位是不是10就知道是不是某个utf8多字节字符的的一部分了, 而且utf8本身是根据范围来进行编码的, 只要前两位不是10的话就能通过所在其范围来确定字符占多少字节, 因此utf8可以很方便从缓冲区末尾来对其进行调整而避免出问题
至于gb18030, 编码本身貌似没啥规律, 而且有重复区间, 无法像utf8那样能从末尾调整, 只能根据编码的码点从头开始来调整缓冲区, 但是这样一来效率就低了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|批处理之家 ( 渝ICP备10000708号 )

GMT+8, 2026-11-23 04:46

Powered by Discuz! X3.5

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表