免费 · 无需注册 · 浏览器本地处理

BPE Token 计数器:o200k_base 与 cl100k_base

使用两套明确词表在本地统计文本 Token,对比编码结果、查看 Token ID 并下载报告,无需上传文本。

浏览全部工具 →

本地工作区 · 不调用模型 · 输入不发送、不保存

准备你的文本

按所选词表精确编码文本。对话封装、工具定义、图片、推理与 API 实际账单不在此计数中。类似特殊 Token 的字符串按普通文本处理。

最多 100,000 个 UTF-8 字节。文件仅按文本读取;保留空白与可选的 BOM。

编辑后请重新计算;不会在每次按键时编码。

实际输出

agent-token-counter.json

填写输入后即可预览与导出结果。

参考资料核对于 2026-11-03 · gpt-tokenizer 4.1.0gpt-tokenizer ↗OpenAI tiktoken ↗LangChain text splitting ↗

使用步骤

粘贴文本或打开 UTF-8 文本文件,选择词表后点击计算;复制或下载实际 JSON/TXT 报告。

使用前请检查

仅处理文本,最多 100,000 个 UTF-8 字节。类似特殊 Token 的字符串按普通文本处理;词表计数不预测对话封装、工具、图片、推理或实际账单用量。

试一个例子

对比 emoji、多语言文本与空白在两种词表中的结果,检查完整且有序的 ID 数组。

计算或处理方式

gpt-tokenizer 4.1.0 按需载入所选编码;同时统计 UTF-8 字节、Unicode 码点、UTF-16 单元及按空白分隔的词数。输入不发送、不保存。

常见问题

在本地按 o200k_base 或 cl100k_base 精确计数,查看 Token ID,并对比两种词表。

如何使用Token 计数与词表对比?

粘贴文本或打开 UTF-8 文本文件,选择词表后点击计算;复制或下载实际 JSON/TXT 报告。

数据会上传吗?

工具在当前浏览器内处理输入与文件。页面访问统计不包含这些输入内容。

有哪些限制?

仅处理文本,最多 100,000 个 UTF-8 字节。类似特殊 Token 的字符串按普通文本处理;词表计数不预测对话封装、工具、图片、推理或实际账单用量。