免费 · 无需注册 · 浏览器本地处理

RAG 文本分块器:重叠、段落边界与来源偏移

按段落、行或固定 Unicode 码点窗口分块,配置大小与重叠,追溯原文位置并导出真实 JSON 或 JSONL。

浏览全部工具 →

本地工作区 · 不调用模型 · 输入不发送、不保存

准备你的文本

最多 100,000 个 UTF-8 字节。文件仅按文本读取;保留空白与可选的 BOM。

大小按 Unicode 码点计算,单位不是 Token,也不是视觉字符数。段落/换行模式优先使用上限内的分隔符,否则按固定边界切分。重叠为目标值,始终保证向前推进;不会拆开成对的 UTF-16 代理项。去空白会调整偏移,并可能省略纯空白块。

上限:2,000 个原始块、含重叠合计 1,000,000 个输出码点。仅准备文本,不生成嵌入向量、不进行向量检索,也不评估检索质量。

编辑后请重新计算;不会在每次按键时编码。

实际输出

rag-text-splitter.json

填写输入后即可预览与导出结果。

参考资料核对于 2026-11-03 · gpt-tokenizer 4.1.0gpt-tokenizer ↗OpenAI tiktoken ↗LangChain text splitting ↗

使用步骤

粘贴或打开 UTF-8 文本,选择边界,设置码点数与重叠,再分块并下载实际 JSON/JSONL。

使用前请检查

仅按字符准备文本,不生成嵌入或进行向量检索。输入最多 100,000 字节,最多 2,000 个原始块,含重叠最多 1,000,000 个输出码点;去空白可能移除空白。

试一个例子

将多语言文档切成重叠段落,并用精确偏移把每块追溯到原文。

计算或处理方式

以 Unicode 码点形成窗口,优先使用上限内最后一个指定边界,否则固定切分;强制向前推进。每块含实际文本、不含结束位的偏移、UTF-16 偏移及实际重叠数。

常见问题

按段落、换行或固定边界准备可追溯文本块,支持大小上限与可调重叠。

如何使用RAG 文本分块与原文偏移?

粘贴或打开 UTF-8 文本,选择边界,设置码点数与重叠,再分块并下载实际 JSON/JSONL。

数据会上传吗?

工具在当前浏览器内处理输入与文件。页面访问统计不包含这些输入内容。

有哪些限制?

仅按字符准备文本,不生成嵌入或进行向量检索。输入最多 100,000 字节,最多 2,000 个原始块,含重叠最多 1,000,000 个输出码点;去空白可能移除空白。