免费 · 无需注册 · 浏览器本地处理
BPE Token 计数器:o200k_base 与 cl100k_base
使用两套明确词表在本地统计文本 Token,对比编码结果、查看 Token ID 并下载报告,无需上传文本。
本地工作区 · 不调用模型 · 输入不发送、不保存
准备你的文本
按所选词表精确编码文本。对话封装、工具定义、图片、推理与 API 实际账单不在此计数中。类似特殊 Token 的字符串按普通文本处理。
最多 100,000 个 UTF-8 字节。文件仅按文本读取;保留空白与可选的 BOM。
编辑后请重新计算;不会在每次按键时编码。
实际输出
agent-token-counter.json填写输入后即可预览与导出结果。
使用步骤
粘贴文本或打开 UTF-8 文本文件,选择词表后点击计算;复制或下载实际 JSON/TXT 报告。
使用前请检查
仅处理文本,最多 100,000 个 UTF-8 字节。类似特殊 Token 的字符串按普通文本处理;词表计数不预测对话封装、工具、图片、推理或实际账单用量。
试一个例子
对比 emoji、多语言文本与空白在两种词表中的结果,检查完整且有序的 ID 数组。
计算或处理方式
gpt-tokenizer 4.1.0 按需载入所选编码;同时统计 UTF-8 字节、Unicode 码点、UTF-16 单元及按空白分隔的词数。输入不发送、不保存。
常见问题
在本地按 o200k_base 或 cl100k_base 精确计数,查看 Token ID,并对比两种词表。
如何使用Token 计数与词表对比?
粘贴文本或打开 UTF-8 文本文件,选择词表后点击计算;复制或下载实际 JSON/TXT 报告。
数据会上传吗?
工具在当前浏览器内处理输入与文件。页面访问统计不包含这些输入内容。
有哪些限制?
仅处理文本,最多 100,000 个 UTF-8 字节。类似特殊 Token 的字符串按普通文本处理;词表计数不预测对话封装、工具、图片、推理或实际账单用量。