caoxiaozhu
|
81c2f85c3a
|
feat(data_process): 问答对数据评测体系与质量分雷达图
- 三层评测：规则层沿用原五维规则分，语义层用本地 BGE 向量算问答/来源
相关性，评审层复用生成模型按 rubric 打分（忠实度/正确性/清晰度等，
区分 standard/reasoning/dpo 输出类型），任一层失败自动降级
- 组合分 = 规则 35% + 语义 20% + 评审 45%，缺层自动重归一
- 新增 results/evaluate-batch 批量评测接口，镜像批量重生成的并发、
乐观锁与部分成功语义；生成阶段不再展示质量分
- 详情页与结果编辑页新增"数据评测"按钮和批量进度；质量分列悬停弹出
雷达图浮窗（评审 5 维 + 语义 2 维、三层分项、评审理由）
- 手动编辑/恢复后重算规则与语义层并丢弃过期评审分，雷达图不再展示
失效数据
|
2026-08-19 14:22:27 +08:00 |
|
caoxiaozhu
|
f47611020a
|
fix(data_process): 修复 Word 切分行号断档与预览标题缺失
- 正文抽取下钻 SDT 内容控件，目录等内容不再整段丢失
- 切片投影匹配剥离序列化插入的列表自动编号，新增行锚点兜底与游标防回退
- fixed/semantic 切分路径定位失败时保留切片，不再静默丢弃
- Word 预览按段落大纲级别识别标题，未套标题样式的小节正常渲染
- 本地嵌入模型抽为共享单例，供语义分块与质量评分共用
|
2026-08-19 14:22:27 +08:00 |
|
caoxiaozhu
|
91b4ae2287
|
feat(data_process): 显式关闭 docling OCR 并拒绝无文本层 PDF
- docling 转换器通过 PdfPipelineOptions 显式设置 do_ocr=False，
混合 PDF 的图片页不再产出 OCR 文字；不提供重新开启 OCR 的参数。
- 无文本层 PDF 的错误文案改为"扫描版或图片型 PDF 不支持"，
上传阶段整批拒绝，保留混合 PDF 的可处理判定。
- 新增 test_layout_converter_disables_ocr 守护开关状态，
同步设计文档与 disable-ocr 实施计划/设计说明。
|
2026-08-18 15:49:00 +08:00 |
|
caoxiaozhu
|
ca012893f7
|
refactor: 完整重构 data_process 模块并修复拆分遗留缺陷
将 algorithms.py / store.py 拆分为 algorithms/ 与 store/ 子包，并修复
机械拆分造成的导入与辅助函数缺失：
- algorithms/: 补全各子模块依赖与 17 个私有辅助函数、8 个常量；重写
__init__.py 移除坏的 importlib 兜底，分层导入并以局部 import 断开
text_utils<->parsers、quality<->structured_processing 循环依赖。
- store/: 补回 DataProcessStoreError / hashlib / _serialize_value /
estimate_token_count 等缺失导入，包入口导出测试与调用方依赖的私有
辅助函数。
- 删除旧单文件 algorithms.py / store.py 及重构残留（_algorithms_old、
backups、refactor 脚本、REFACTORING 文档）。
algorithms 与 store 测试套件 91 项全部通过。
|
2026-08-12 14:29:39 +08:00 |
|