🧩
RAG Chunk 预览器
可视化文本分块与 token 估算，调试知识库切分参数
免费 · 无需登录100% 浏览器本地计算文本不上传服务器
工具加载中…
算完了？看看这些工具
相关工具分类
关于RAG Chunk 预览器
搭 RAG 知识库最隐蔽的坑不是模型，是切分参数：块太大塞不进嵌入模型、太小丢上下文、重叠不当关键信息被切断。粘贴你的文档，选字符/句子/标题三种切分策略，拖动块大小与重叠滑块——每一块的内容、字符数与 token 估算即时呈现，过碎与超窗的块自动标黄标红，块分布图一眼看清整体形态。调好参数再去 Dify / AnythingLLM / LangChain 里照抄，省掉反复重建索引的试错。全部计算在浏览器本地完成，文本不上传。
常见问题
- 块大小和重叠怎么选？
- 经验起点：块 500–1000 字符、重叠 10–15%。FAQ 类短问答用小块+句子切分；长文档用标题切分保住章节语义。判断标准是「单块能否独立理解」——块里只剩半句话就是过碎，嵌入和检索质量都会掉。重叠用来兜住跨块边界的关键信息，但会增加存储与检索冗余，不是越大越好。
- 「超窗」警告是什么意思？
- 嵌入模型有输入上限：经典 bge 系列约 512 token，现代 text-embedding 类约 8192 token。超过上限的块会被截断（尾部内容直接不参与向量）或静默失败，检索时永远命中不到。本工具按 512 token 阈值标红超窗块——如果你的嵌入模型是现代长窗口型号，可放宽到 8192，但过长的块同样会稀释向量语义，能切小还是切小。
- 这里的 token 估算和实际平台一致吗？
- 按通用字符比率估算（页面已标注），用于判断量级和超窗风险足够；嵌入模型的分词器与 LLM 不同（如 bge 用 WordPiece 而非 BPE），精确计数需在目标平台查看。把本工具当作调参预览器：策略、大小、重叠的相对效果是可靠的，绝对数字以平台实测为准。