wuyongtao
|
78e3baa9ba
|
feat: 平台治理与对象存储增强，审批中心与运行日志整合
- 新增 storage/policy.py 落盘策略：按大小/类型决定文件存 MinIO 或内联数据库
- 数据处理源文件与生成结果写入 MinIO 并登记 storage_objects，支持失败回滚
- 算力节点训练产物按版本归档到 MinIO，登记 model_artifacts
- 数据转换任务输入输出对象化，支持从 MinIO 读写
- 新增审批中心（申请/我的/策略）、组织与权限、运行日志整合页面
- schema 与 docker 配置、前端路由侧边栏、治理文档同步更新
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-19 16:10:24 +08:00 |
|
caoxiaozhu
|
81c2f85c3a
|
feat(data_process): 问答对数据评测体系与质量分雷达图
- 三层评测：规则层沿用原五维规则分，语义层用本地 BGE 向量算问答/来源
相关性，评审层复用生成模型按 rubric 打分（忠实度/正确性/清晰度等，
区分 standard/reasoning/dpo 输出类型），任一层失败自动降级
- 组合分 = 规则 35% + 语义 20% + 评审 45%，缺层自动重归一
- 新增 results/evaluate-batch 批量评测接口，镜像批量重生成的并发、
乐观锁与部分成功语义；生成阶段不再展示质量分
- 详情页与结果编辑页新增"数据评测"按钮和批量进度；质量分列悬停弹出
雷达图浮窗（评审 5 维 + 语义 2 维、三层分项、评审理由）
- 手动编辑/恢复后重算规则与语义层并丢弃过期评审分，雷达图不再展示
失效数据
|
2026-08-19 14:22:27 +08:00 |
|
caoxiaozhu
|
5f6e7523cf
|
feat: 新增外部数据源拉取与 DPO 输出格式支持
- 支持从 PostgreSQL 数据库拉取结构化数据作为训练来源
- 新增 DPO (Direct Preference Optimization) 输出类型
- 支持 chosen/rejected 字段的编辑、校验和发布
- 完善数据预处理切分逻辑和元数据管理
- 移除 OCR 扫描 PDF 功能，保持基础文本解析能力
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-11 14:17:45 +08:00 |
|
wangjiming
|
15c4223f2c
|
update
|
2026-08-03 09:34:08 +08:00 |
|
caoxiaozhu
|
b975de02da
|
fix: 完善数据预处理与 JSON 上传链路
|
2026-07-30 16:54:00 +08:00 |
|
caoxiaozhu
|
01d2e6c76a
|
feat(data-process): 完善后台生成与失败重试
|
2026-07-28 10:56:05 +08:00 |
|
caoxiaozhu
|
9025437a37
|
feat(data-process): 增加 Office 原文件预览接口
|
2026-07-27 16:12:50 +08:00 |
|
caoxiaozhu
|
f97245b814
|
feat(data-process): 增加可配置思维链生成
|
2026-07-27 14:41:38 +08:00 |
|
caoxiaozhu
|
de2e8952b5
|
feat(data-process): 支持思维链输出类型
|
2026-07-27 13:08:44 +08:00 |
|
caoxiaozhu
|
8caaaa5bbc
|
fix(data-process): 恢复提前中断的重新生成任务
|
2026-07-27 11:07:18 +08:00 |
|
caoxiaozhu
|
b14b2ecf22
|
fix(data-process): 修正任务详情数据契约
|
2026-07-27 10:03:46 +08:00 |
|
caoxiaozhu
|
396d3f6f47
|
feat(data-process): 支持任务重新生成
|
2026-07-25 22:40:55 +08:00 |
|
caoxiaozhu
|
ea08478a37
|
feat(data-process): 接入三种文档切分引擎
|
2026-07-25 18:00:21 +08:00 |
|
caoxiaozhu
|
3266a6fc09
|
feat(data-process): 清理PDF文档级噪声
|
2026-07-24 15:05:39 +08:00 |
|
caoxiaozhu
|
93373bc61f
|
fix(data-process): 合并文档结构短切片
|
2026-07-24 14:36:11 +08:00 |
|
caoxiaozhu
|
33d0ed2e01
|
feat(data-process): 完善文件解析与切分存储链路
|
2026-07-24 14:35:03 +08:00 |
|
caoxiaozhu
|
f04dc479bb
|
feat: 完成数据处理接口与前端接入
|
2026-07-23 15:10:13 +08:00 |
|