Commit Graph

29 Commits

Author SHA1 Message Date
caoxiaozhu
5f6e7523cf feat: 新增外部数据源拉取与 DPO 输出格式支持
- 支持从 PostgreSQL 数据库拉取结构化数据作为训练来源
- 新增 DPO (Direct Preference Optimization) 输出类型
- 支持 chosen/rejected 字段的编辑、校验和发布
- 完善数据预处理切分逻辑和元数据管理
- 移除 OCR 扫描 PDF 功能,保持基础文本解析能力

Co-Authored-By: Claude <noreply@anthropic.com>
2026-08-11 14:17:45 +08:00
caoxiaozhu
b975de02da fix: 完善数据预处理与 JSON 上传链路 2026-07-30 16:54:00 +08:00
caoxiaozhu
01d2e6c76a feat(data-process): 完善后台生成与失败重试 2026-07-28 10:56:05 +08:00
caoxiaozhu
8a6a6574bb feat(data-process): 完善 Word 与 Excel 原文件预览 2026-07-27 16:24:53 +08:00
caoxiaozhu
4623e3fa1c fix(data-process): 完善默认生成提示语 2026-07-27 14:58:02 +08:00
caoxiaozhu
f97245b814 feat(data-process): 增加可配置思维链生成 2026-07-27 14:41:38 +08:00
caoxiaozhu
97cdb5cc68 fix(data-process): 收准结构化预处理能力文案 2026-07-27 14:36:16 +08:00
caoxiaozhu
d8a11e4949 fix(data-process): 对齐输出类型控件宽度 2026-07-27 13:58:15 +08:00
caoxiaozhu
05c1a5c1e1 fix(data-process): 优化输出类型选择样式 2026-07-27 13:49:21 +08:00
caoxiaozhu
f3fa5f1a68 fix(data-process): 调整输出类型选项位置 2026-07-27 13:43:30 +08:00
caoxiaozhu
de2e8952b5 feat(data-process): 支持思维链输出类型 2026-07-27 13:08:44 +08:00
caoxiaozhu
53844a3a09 fix(frontend): 保持重新生成退出前详情 2026-07-27 10:43:48 +08:00
caoxiaozhu
762f866175 feat(data-process): 放宽问答生成数量上限 2026-07-27 09:11:58 +08:00
caoxiaozhu
06e7455630 feat(data-process): 接入重新生成配置流程 2026-07-25 22:41:06 +08:00
caoxiaozhu
ea0013b99c fix(auth): 长任务活跃期间续期会话 2026-07-25 18:15:49 +08:00
caoxiaozhu
9193f10e3e feat(frontend): 更新三种切分模式与PDF定位 2026-07-25 18:00:44 +08:00
caoxiaozhu
b2c570f607 fix(data-process): 补齐原文参照与详情统计 2026-07-24 16:30:29 +08:00
caoxiaozhu
4544483fc5 feat(data-process): 启用智能文档清理预览 2026-07-24 15:06:01 +08:00
caoxiaozhu
b801bd314b fix(data-process): 升级预览切分缓存版本 2026-07-24 14:36:11 +08:00
caoxiaozhu
975f55d06c fix(data-process): 优化预览分页与PDF兼容 2026-07-24 14:36:11 +08:00
caoxiaozhu
ad64e44860 feat(data-process): 优化上传切分流程与PDF高亮预览 2026-07-24 14:35:03 +08:00
caoxiaozhu
f04dc479bb feat: 完成数据处理接口与前端接入 2026-07-23 15:10:13 +08:00
caoxiaozhu
762d48d090 feat: 数据处理向导新增模型配置步骤
StepId 新增 model 步骤,DataProcessCreateView 增加模型选择与生成参数编排,各选项面板与样式适配新步骤流程,回归脚本补充断言。
2026-07-13 17:12:49 +08:00
caoxiaozhu
e580ec4791 refactor: 数据处理向导拆分组合式函数与子面板
提取 useDataProcessDraft、useDataProcessGeneration 与 dataProcessCreateState 管理向导状态,新增 StructuredOptionsPanel、UnstructuredOptionsPanel、DatasetSplitEditor 子面板组件,样式抽离为独立 scss,DataProcessCreateView 与 TaskSetupStep 大幅瘦身,回归脚本适配。
2026-07-13 15:28:48 +08:00
caoxiaozhu
5c469a1778 feat: 数据处理向导新增生成控制选项
提取 GenerationOptionsPanel 组件统一管理生成模型、温度、最大长度、JSON 模式与质量过滤配置,StructuredProcessOptions 与 UnstructuredProcessOptions 继承 GenerationControlOptions,CreateView、TaskSetupStep 及各子步骤同步接入,详情/列表小幅调整,回归脚本扩充生成选项断言。
2026-07-13 11:47:33 +08:00
caoxiaozhu
c0f5f4a30a refactor: 数据处理向导拆分源数据上传步骤
将任务设置中的文件上传与外来数据源拉取抽离为独立 SourceUploadStep 组件,TaskSetupStep 聚焦任务信息与处理配置,CreateView 同步接入新步骤与草稿同步,回归脚本补充上传步骤断言。
2026-07-12 15:39:43 +08:00
caoxiaozhu
ddf47eb8fe feat: 数据处理向导配置体系扩展
新增结构化与非结构化处理选项类型,TaskSetupStep 增加预处理、切分方法、数据集划分等配置 UI,previewModel 实现语义切分与受保护区间算法,CreateView 接入配置状态与草稿持久化并替换为 AppConfirmDialog,回归脚本扩充配置与弹窗断言。
2026-07-11 14:49:10 +08:00
caoxiaozhu
ee50350dff feat: 数据处理向导支持外来数据源拉取
任务设置步骤新增 external 数据类型,支持 MySQL/PostgreSQL/MongoDB/REST API 配置、测试连接与拉取数据,生成步骤与草稿持久化同步适配,回归脚本放宽分页器数量断言。
2026-07-11 11:00:15 +08:00
caoxiaozhu
e2eabe3525 test: 添加回归测试脚本
基于 Playwright 的 UI 回归脚本,覆盖返回导航、数据处理向导、调优创建、模型管理、页面表层级、训练日志布局六个场景。
2026-07-10 16:46:23 +08:00