免费在线工具AI 工作流
RAG 文本切块预览 — 分块大小与重叠检查
在准备检索数据集前，预览固定长度切分的结果。调整块大小和重叠量，检查真实边界，再复制每行一个 JSON 对象的数据，用于小规模索引实验。
计算在浏览器中完成，无需账号或 API 密钥。
计算结果
- 原文码点
- 114
- 块数
- 1
- 重复码点
- 0
- 输出 / 原文
- 100.0%
{"id":1,"start":0,"end":114,"text":"阳台种植笔记\n\n薄荷的根系容易扩展，适合单独放在一个花盆里。浇水前先检查土壤，阴凉位置的盆土可能保持湿润更久。\n\n罗勒适合光线明亮的位置。定期摘取顶部叶片；如果主要收获叶子，可以移除花穗。花盆标签记录种植日期，方便比较每次观察。"}使用方法
粘贴一份文档，保留需要使用的标题。
按 Unicode 码点设置块大小，并填写小于块大小的重叠量。
对比分块和重复字符数量，复制 JSONL 结果。
观察边界丢失的上下文
切块可能把标题与它解释的句子分开。重叠会重复附近文本，让相邻块共享一部分上下文，同时增加索引内容的总量。这里使用固定边界，不识别主题、不生成向量，也不评价检索质量。正式使用前，请先用有代表性的问题测试。
使用可复现的偏移
每行包含编号、文本以及从零开始的起止偏移，结束位置不包含在片段内。空白字符原样保留。偏移按 Unicode 码点计数，不是字节、JavaScript 字符串索引或模型 token。为保证预览响应速度，最多生成 200 块，输出文本累计不超过 200,000 个码点。
常见问题
应该选择多大的块？
没有适合所有文档的统一值。请用自己的资料比较检索结果；这里仅检查边界和重复量。
表情符号会被拆开吗？
Unicode 代理对不会拆开，但由多个码点组成的表情或组合字符仍可能跨越边界。