[RFC] 056 - 知识库体验优化 / RAG 性能优化

[arvinxx]

背景

知识库一期已发布：#3023 。遗留了不少体验细节的问题有待优化：

• 文件列表分页加载，无限滚动
• chunk 分页查询 & 无限滚动
• PPT、EXCEL、WORD chunk 坐标分析
• Reranker 重排，检索模块性能优化（测了 20+ 用例，目前能有 70% ~ 80% 的成功率）
• 修改知识库图标（后续补充，结合助手图标一同考虑）
• 文件侧边栏知识库排序
• 知识库列表页
• 知识库设置页
• 知识库召回测试页（对话）
• 允许查询所有文件/所有知识库
• 允许选择召回范围（TopK） 和相似度匹配阈值

---

细节优化项：

• 知识库面板的宽度需要提供一个最大值，然后文本点点点省略
• 需要有一个读取文件全文并保存到库表中的字段和功能（提取原文）
• File 中上传文件，第一次需要提示用户会调用 Embedding model ，并配置是否自动切块的方案
• 文件可能需要一个全文的字段，用于存储这个文件的所有纯文本信息
• 批量分块操作，需要调整 「准备中...」 加载态的逻辑
• 如果在分块过程中删除了文件，需要自动停止轮询
• Chat 中上传文件夹时，提示创建知识库
• 插入消息时，也需要乐观更新插入 files 和 image，否则只会显示消息
• 知识库抛错时的错误页