免费 · 无需注册 · 浏览器本地处理
JSONL 数据集去重：原始行或文本字段
按原始行或指定文本字段对 JSONL 去重，配置大小写、Unicode 与空白归一化，选择保留首条或末条，复核冲突后导出保留和移除记录。
浏览器本地准备 · 不调用模型 · 不保存输入
实际输出
kept.jsonl处理输入后即可预览、复制与下载结果。
本工具按所选规范化查找精确重复，不识别语义重复或训练 / 测试集泄漏。报告包含计数及来源位置，不包含原始比较值。 改动输入或选项会使结果及待完成导出失效。输入不会被保存或写入网址。
使用步骤
选择原始行或文本字段作键，设置归一化与保留首条/末条；复核冲突后下载保留、移除及报告文件。
使用前请检查
只做精确或归一化文本匹配，不判断语义重复；同一问题可能有不同答案，需检查冲突组。
试一个例子
比较大小写和空白不同的问题，观察启用归一化前后的分组变化。
计算或处理方式
本地限额校验 JSONL 并确定性分组，导出的保留与移除记录均保留数值写法和原始文本。
常见问题
按原始行或文本字段检查重复，可明确配置归一化、复核冲突并保留原始记录。
如何使用AI JSONL 数据集去重？
选择原始行或文本字段作键，设置归一化与保留首条/末条；复核冲突后下载保留、移除及报告文件。
数据会上传吗？
工具在当前浏览器内处理输入与文件。页面访问统计不包含这些输入内容。
有哪些限制？
只做精确或归一化文本匹配，不判断语义重复；同一问题可能有不同答案，需检查冲突组。