🔬
Tokenizer 可视化
高亮显示每一段文本如何被切成 token
免费 · 无需登录100% 浏览器本地计算文本不上传服务器
工具加载中…
算完了？看看这些工具
相关工具分类
关于Tokenizer 可视化
大模型到底怎么读你的文字？粘贴任意中英文或代码，本工具加载 OpenAI 公开分词器（o200k_base / cl100k_base），把文本逐段切成彩色高亮的 token——每个色块就是一个 token，悬停可见其编号；中文常见词往往一个 token，生僻词会被拆碎。同时给出精确/不同 token 数、字符比、高频 token 榜，并可一键对比两种编码的切分差异（GPT-4o 之后 vs GPT-3.5/4）。Claude、Gemini 无公开词表，仅提供明确标注的近似估算。全部计算在浏览器本地完成，文本不上传。
常见问题
- 为什么「你好」是一个 token，「燚」却要拆成好几段？
- 分词器（BPE）按训练语料的共现频率合并文本：高频组合会进词表成为单个 token（很多常用中文词、英文子词都在），低频字词只能用字节级碎片拼出来，一个字拆成 2–4 个 token 都很常见。这正是「同一段话在不同模型上 token 数差几倍」的根源，也是 API 账单差异的来源之一。
- o200k_base 和 cl100k_base 有什么区别？
- cl100k_base 是 GPT-3.5/GPT-4 时代的编码（约 10 万词表），对中文效率偏低；o200k_base 从 GPT-4o 起启用（约 20 万词表），显著增加了非英语语言的覆盖，同样的中文通常 token 数更少。本工具的「对比」按钮会加载两种编码直接给出差值。
- 能看到 Claude 或 Gemini 的切分吗？
- 不能——Anthropic 和 Google 未公开其分词器词表，任何声称「精确切分 Claude」的工具都在编造。本工具对这类模型只提供按官方字符比率推算的近似估算，并明确标注；只有 OpenAI 公开了 o200k/cl100k 编码，因此精确可视化仅支持这两者。