怎么用unicode隐藏字符制作Token炸弹

czjt1234 · 发表于 2025-5-30 15:11:26

https://newsa.html5.qq.com/v1/share-article?ch=009405&data_type=1&docId=5074705696591219010&from_app=qb&sGuid=52ba6464e980b2329545aaf20bc588cb&sQueryId=1741686064051&sUserId=&sUserType=&sh_sid=5____&target_app=kb

这个网址里，有一个特殊字符，在复制到OpenAI的那个测有多少token的网站里，来看看这个n藏了多少token。

这一行，这个n复制后有15k大小，怎么编码的？

Five66 · 发表于 2025-5-31 00:50:40

大概就是一些没有码点跟字形的字符叠在一起 ,因为没有码点跟字形 ,当然也就不显示了 ,也因为不显示 ,字符宽度相当于0 ,选择时的判断就自然全选上了
要弄的话直接找unicode没有使用的区域就行 ,unicode的第4至13辅助平面貌似就尚未使用

czjt1234 · 发表于 2025-5-31 07:01:34

他的是可以编码解码的，把一篇文章编进去，再解码出来
我也用winhex看了，但看不出怎么进行编码和解码

Five66 · 发表于 2025-5-31 09:51:23

那应该是作者自己设计的编码表 ,貌似不是单纯的运算转换
字符A-Z是从U+e0110开始的26个
字符a-z是从U+e0151开始的26个
空格是U+e0110
换行是U+fe0a
....
其实不一定要按照那里的作者那样 ,也可以自己设计编码表或转换方式 ,只要找到并利用那些的不显示的字符就行了
例如下面的 ,保存为utf8编码的html ,然后用支持es6标准的浏览器打开
(U+e0000至U+e00ff好像是不显示的 ,通过直接将字符看成单字节然后加上0xe0000来实现的)

<!DOCTYPE html>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=UTF-8">
<head><script type="text/javascript" >
function the_nil_coding(){
this.chr=[];
for(var i=0xe0000;i<=0xe00ff;i++){
this.chr.push(String.fromCodePoint(i));
}
this.encode=function(str,pre){
var rt=[];
if(pre){
rt.push(pre);
}else{
rt.push('N');
}
rt.push(String.fromCodePoint(0xe0100));
if(!str||!str.length)return rt.join('');
var c=str.length;
for(var i=0;i<c;i++){
var p=str.charCodeAt(i);
var h=p>>>8;
var l=p&0xff;
rt.push(this.chr[h]);
rt.push(this.chr[l]);
}
return rt.join('');
}
this.decode=function(str){
var k=0,j=0,rt=[];
if(!str||!str.length)return rt.join('');
for(let i of str){
var p=i.codePointAt(0);
if(p==0xe0100)k=1;
if(k){
if(p>=0xe0000&&p<0xe0100){
j++;
if(j==2){
var l=p-0xe0000;
rt.push(String.fromCharCode(h+l));
h=0,l=0,j=0;
}else{
var h=(p-0xe0000)<<8;
}
}}}
return rt.join('');
}
}
window.onload=function(){
var nil_coding=new the_nil_coding();
document.getElementById('ec').onclick=function(){
document.getElementById('rs').value='';
var t=nil_coding.encode(
document.getElementById('ip').value,document.getElementById('pf').value);
document.getElementById('rs').value=t;};
document.getElementById('dc').onclick=function(){
document.getElementById('rs').value='';
var t=nil_coding.decode(document.getElementById('ip').value);
document.getElementById('rs').value=t;}
document.getElementById('cli').onclick=function(){
document.getElementById('ip').value='';}
document.getElementById('clr').onclick=function(){
document.getElementById('rs').value='';}
document.getElementById('cla').onclick=function(){
document.getElementById('ip').value='';
document.getElementById('rs').value='';}
}
</script></head>
<body>
<label>input</label><input id='cli' type='button' value='clear'/></br>
<textarea id='ip' style="width:450px;height:200px;border:2px solid;"></textarea></br></br>
<label>prefix:</label><input id='pf' type="text" value="N"/>
<input id='ec' type='button' value='encode input'/>
<input id='dc' type='button' value='decode input'/>
<input id='cla' type='button' value='clear all'/>
</br></br>
<textarea id='rs' style="width:450px;height:200px;border:2px solid;"></textarea></br>
<label>result</label><input id='clr' type='button' value='clear'/></br>
</body></html>

复制代码

Five66 · 发表于 2025-6-1 01:15:24

搜了下 ,github有对应项目
https://github.com/paulgb/emoji-encoder
下面是ts源码

// Variation selectors block https://unicode.org/charts/nameslist/n_FE00.html
// VS1..=VS16
const VARIATION_SELECTOR_START = 0xfe00;
const VARIATION_SELECTOR_END = 0xfe0f;
// Variation selectors supplement https://unicode.org/charts/nameslist/n_E0100.html
// VS17..=VS256
const VARIATION_SELECTOR_SUPPLEMENT_START = 0xe0100;
const VARIATION_SELECTOR_SUPPLEMENT_END = 0xe01ef;
export function toVariationSelector(byte: number): string | null {
if (byte >= 0 && byte < 16) {
return String.fromCodePoint(VARIATION_SELECTOR_START + byte)
} else if (byte >= 16 && byte < 256) {
return String.fromCodePoint(VARIATION_SELECTOR_SUPPLEMENT_START + byte - 16)
} else {
return null
}
}
export function fromVariationSelector(codePoint: number): number | null {
if (codePoint >= VARIATION_SELECTOR_START && codePoint <= VARIATION_SELECTOR_END) {
return codePoint - VARIATION_SELECTOR_START
} else if (codePoint >= VARIATION_SELECTOR_SUPPLEMENT_START && codePoint <= VARIATION_SELECTOR_SUPPLEMENT_END) {
return codePoint - VARIATION_SELECTOR_SUPPLEMENT_START + 16
} else {
return null
}
}
export function encode(emoji: string, text: string): string {
// convert the string to utf-8 bytes
const bytes = new TextEncoder().encode(text)
let encoded = emoji
for (const byte of bytes) {
encoded += toVariationSelector(byte)
}
return encoded
}
export function decode(text: string): string {
let decoded = []
const chars = Array.from(text)
for (const char of chars) {
const byte = fromVariationSelector(char.codePointAt(0)!)
if (byte === null && decoded.length > 0) {
break
} else if (byte === null) {
continue
}
decoded.push(byte)
}
let decodedArray = new Uint8Array(decoded)
return new TextDecoder().decode(decodedArray)
}

复制代码

czjt1234 · 发表于 2025-6-1 09:07:17

非常感谢，我慢慢看

		自动登录	找回密码
密码			注册

[新手上路]批处理新手入门导读	[视频教程]批处理基础视频教程	[视频教程]VBS基础视频教程	[批处理精品]批处理版照片整理器
[批处理精品]纯批处理备份&还原驱动	[批处理精品]CMD命令50条不能说的秘密	[在线下载]第三方命令行工具	[在线帮助]VBScript / JScript 在线参考

[其他] 怎么用unicode隐藏字符制作Token炸弹

评分