免费 · 无需注册 · 浏览器本地处理
RAG 文本分块器:重叠、段落边界与来源偏移
按段落、行或固定 Unicode 码点窗口分块,配置大小与重叠,追溯原文位置并导出真实 JSON 或 JSONL。
本地工作区 · 不调用模型 · 输入不发送、不保存
准备你的文本
最多 100,000 个 UTF-8 字节。文件仅按文本读取;保留空白与可选的 BOM。
大小按 Unicode 码点计算,单位不是 Token,也不是视觉字符数。段落/换行模式优先使用上限内的分隔符,否则按固定边界切分。重叠为目标值,始终保证向前推进;不会拆开成对的 UTF-16 代理项。去空白会调整偏移,并可能省略纯空白块。
上限:2,000 个原始块、含重叠合计 1,000,000 个输出码点。仅准备文本,不生成嵌入向量、不进行向量检索,也不评估检索质量。
编辑后请重新计算;不会在每次按键时编码。
实际输出
rag-text-splitter.json填写输入后即可预览与导出结果。
使用步骤
粘贴或打开 UTF-8 文本,选择边界,设置码点数与重叠,再分块并下载实际 JSON/JSONL。
使用前请检查
仅按字符准备文本,不生成嵌入或进行向量检索。输入最多 100,000 字节,最多 2,000 个原始块,含重叠最多 1,000,000 个输出码点;去空白可能移除空白。
试一个例子
将多语言文档切成重叠段落,并用精确偏移把每块追溯到原文。
计算或处理方式
以 Unicode 码点形成窗口,优先使用上限内最后一个指定边界,否则固定切分;强制向前推进。每块含实际文本、不含结束位的偏移、UTF-16 偏移及实际重叠数。
常见问题
按段落、换行或固定边界准备可追溯文本块,支持大小上限与可调重叠。
如何使用RAG 文本分块与原文偏移?
粘贴或打开 UTF-8 文本,选择边界,设置码点数与重叠,再分块并下载实际 JSON/JSONL。
数据会上传吗?
工具在当前浏览器内处理输入与文件。页面访问统计不包含这些输入内容。
有哪些限制?
仅按字符准备文本,不生成嵌入或进行向量检索。输入最多 100,000 字节,最多 2,000 个原始块,含重叠最多 1,000,000 个输出码点;去空白可能移除空白。