wuyongtao
|
78e3baa9ba
|
feat: 平台治理与对象存储增强，审批中心与运行日志整合
- 新增 storage/policy.py 落盘策略：按大小/类型决定文件存 MinIO 或内联数据库
- 数据处理源文件与生成结果写入 MinIO 并登记 storage_objects，支持失败回滚
- 算力节点训练产物按版本归档到 MinIO，登记 model_artifacts
- 数据转换任务输入输出对象化，支持从 MinIO 读写
- 新增审批中心（申请/我的/策略）、组织与权限、运行日志整合页面
- schema 与 docker 配置、前端路由侧边栏、治理文档同步更新
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-19 16:10:24 +08:00 |
|
wuyongtao
|
2adf78a6ed
|
feat: 数据集下载鉴权、MinIO 发布与数据库兼容增强
- 数据集下载接口鉴权：单文件直接返回、多文件打包 ZIP，前端统一走请求客户端携带 Token
- 预检/同步支持 MinIO 对象补建与资源副本记录，兼容接入 MinIO 前的历史数据集
- create_dataset 增加名称重复校验，软删记录释放名称并保留墓碑
- 数据处理发布结果支持写入 MinIO storage_objects 并关联 dataset_file
- 数据存储根目录支持 YG_FT_DATA_ROOT 环境变量
- SQL 迁移兼容旧版 approval_steps / retention_policies / data_process_results
- 训练日志图表按曲线独立过滤缺失采样点
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-18 14:45:16 +08:00 |
|
caoxiaozhu
|
ca012893f7
|
refactor: 完整重构 data_process 模块并修复拆分遗留缺陷
将 algorithms.py / store.py 拆分为 algorithms/ 与 store/ 子包，并修复
机械拆分造成的导入与辅助函数缺失：
- algorithms/: 补全各子模块依赖与 17 个私有辅助函数、8 个常量；重写
__init__.py 移除坏的 importlib 兜底，分层导入并以局部 import 断开
text_utils<->parsers、quality<->structured_processing 循环依赖。
- store/: 补回 DataProcessStoreError / hashlib / _serialize_value /
estimate_token_count 等缺失导入，包入口导出测试与调用方依赖的私有
辅助函数。
- 删除旧单文件 algorithms.py / store.py 及重构残留（_algorithms_old、
backups、refactor 脚本、REFACTORING 文档）。
algorithms 与 store 测试套件 91 项全部通过。
|
2026-08-12 14:29:39 +08:00 |
|