YG-Soft/YG_FT
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
229 Commits 5 Branches 1 Tag
8455d99d49d359f6428e81cb699f8a90cdfa27fc
Commit Graph

35 Commits

Author SHA1 Message Date
wangjiming
8455d99d49 merge: 合并远程 ft_wyt 分支，解决冲突 2026-08-19 17:39:18 +08:00
wangjiming
78680a5c5c 新增后端日志，且更改了平台名字 2026-08-19 17:26:49 +08:00
wuyongtao
78e3baa9ba feat: 平台治理与对象存储增强，审批中心与运行日志整合 
- 新增 storage/policy.py 落盘策略：按大小/类型决定文件存 MinIO 或内联数据库
- 数据处理源文件与生成结果写入 MinIO 并登记 storage_objects，支持失败回滚
- 算力节点训练产物按版本归档到 MinIO，登记 model_artifacts
- 数据转换任务输入输出对象化，支持从 MinIO 读写
- 新增审批中心（申请/我的/策略）、组织与权限、运行日志整合页面
- schema 与 docker 配置、前端路由侧边栏、治理文档同步更新

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-19 16:10:24 +08:00
wangjiming
c3e96ae61b Merge branch 'ft_wyt' of http://www.caoxiaozhu.com:13001/YG-Soft/YG_FT into ft_wyt 2026-08-19 10:33:06 +08:00
caoxiaozhu
91b4ae2287 feat(data_process): 显式关闭 docling OCR 并拒绝无文本层 PDF 
- docling 转换器通过 PdfPipelineOptions 显式设置 do_ocr=False，
  混合 PDF 的图片页不再产出 OCR 文字；不提供重新开启 OCR 的参数。
- 无文本层 PDF 的错误文案改为"扫描版或图片型 PDF 不支持"，
  上传阶段整批拒绝，保留混合 PDF 的可处理判定。
- 新增 test_layout_converter_disables_ocr 守护开关状态，
  同步设计文档与 disable-ocr 实施计划/设计说明。
 2026-08-18 15:49:00 +08:00
wangjiming
4e27b98a84 修改用户设置的新增用户的权限点击操作 2026-08-17 16:04:04 +08:00
wangjiming
6c1bf61ff7 更新平台治理 2026-08-17 09:15:36 +08:00
wuyongtao
de9c8e4ffe docs: 精简 README 与 docker 部署说明，归档 20260812 文档快照 
- 重写根 README 为架构、端口、启动速览，替代原详细开发指南
- 重写 docker/README.md 聚焦跨服务器部署边界与数据安全
- 新增平台测试用例文档，归档 docs/20260812 快照副本

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-12 15:38:34 +08:00
wuyongtao
5ecca9f0bc feat: 权限与日志治理完善，MinIO 独立部署与 tiktoken 离线打包适配 
- 后端：强化平台/审批/资源/系统接口权限校验与操作日志，更新权限设计文档与测试用例
- 存储：新增 MinIO 独立部署适配（端口 19000/19001），外部端点与 host-gateway 互通
- 离线：打包 tiktoken cl100k_base 词表进镜像，避免无网环境联网下载
- 其他：算力节点接口微调，前端微调创建页小修，忽略 MinIO 运行时数据

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-12 15:21:42 +08:00
wuyongtao
b5d2cd7935 feat: 新增 MinIO 对象存储与算力节点缓存预下载 
- 后端新增 storage 模块（minio_store），支持 MinIO 预签名 URL 上传与对象管理
- config 新增 MinIO 及存储等待相关配置项
- 算力节点新增 /compute/cache/prepare 缓存预下载接口（带校验和原子落盘）
- 算力节点健康接口增加存储可用性探针
- SQL 迁移补充资源存储相关表结构
- Docker 新增 minio 服务与后端 minio 配置
- 补充 minio-compute-cache-plan 设计文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-11 16:25:18 +08:00
wangjiming
f809825a7d 完善部分平台治理功能，及修改看板缺陷 2026-08-10 11:41:16 +08:00
wuyongtao
75cc105ebc chore: 忽略离线部署包，提交安全加固、数据库初始化与文档 
- .gitignore: 忽略 docker/offline 离线部署包（镜像/运行时等大文件）
- 安全加固: 新增 compute/api/security.py 及各端安全测试，补充 docs/security-hardening.md
- 数据库: 新增完整初始化 SQL 与 docs/database-config.md
- 数据转换与评测: 修复类型检查、增强校验并补充测试
- Docker 配置与环境变量更新

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-07 09:24:35 +08:00
wuyongtao
0c39f2f5b9 feat: 模型评测端到端闭环 — EvalRunner引擎 + 算力节点Job执行 + 结果回写 
算力节点 (compute):
- 新建 eval_runner.py: 评测执行引擎，作为subprocess运行
  - 加载模型 + JSONL数据集 + 逐样本推理
  - BLEU/ROUGE/Cosine基础指标计算
  - LLM Judge评分(OpenAI兼容API调用)
  - 结果写入eval_results.json
- adapter.py: build_command新增engine=eval分支
- main.py: 新增/json模块导入，新增/compute/files/read端点，eval job校验

后端:
- platform.py: 重写startEval提交eval job到算力节点
  - 支持models表和trained_models表查找
  - 已合并模型不传adapter路径
- platform_store.py: 新增update_eval_task/running_eval_tasks/apply_eval_job_result
- sync.py: poller新增eval job同步，异步读取eval_results.json回写结果

前端:
- EvalCreateView/DimensionCreateView: eval模型过滤扩展(API类型+api_url)
- EvalCreateView: GPU过滤在线节点空闲GPU
- EvalTaskSetupStep: GPU value从数组index改为gpu.id
- BasicMetricSetupStep: ROUGE方法名修正(rouge_1→rouge1)
- EvalView: 新增5秒轮询刷新

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-28 19:34:41 +08:00
caoxiaozhu
a9b06140d0 docs: 补充评估工作台设计文档 
从根目录评测.txt 迁入 docs/，归档评估流程、错误诊断、
报告生成与建议有效性验证的设计说明。
 2026-07-24 14:36:11 +08:00
caoxiaozhu
0124e28d77 docs(data-process): 更新文件处理与切分设计 2026-07-24 14:35:03 +08:00
wuyongtao
2b10c013ce feat: 更新后端平台模块、前端组件及构建产物，新增工作计划文档 
- 更新 backend 平台 API endpoints 及 platform_store
- 更新前端 ComputeNodesView、DataProcessCreateView、FineTuneCreateView 等组件
- 更新前端 API 模块（compute、fineTune）
- 重构 frontend/dist 构建产物（新 hash）
- 新增 docs/2026-07-24-work-plan.md 工作计划文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-24 10:27:52 +08:00
wuyongtao
b28cfbc6fa feat: 更新后端平台模块、Compute引擎、前端组件及构建产物 
- 更新 backend 平台 API、platform_store、compute_gateway sync
- 更新 compute agent/engine/adapter 及 API
- 更新 Docker 部署配置（app/compute）
- 新增 frontend/src/utils/ 工具模块
- 新增 scripts/ops_diagnostics.py 运维诊断脚本
- 新增 docs/2026-07-23-development-summary.md 开发总结
- 重构 frontend/dist 构建产物（新 hash）
- 更新前端多个视图组件及 API 模块

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-23 19:32:42 +08:00
caoxiaozhu
f04dc479bb feat: 完成数据处理接口与前端接入 2026-07-23 15:10:13 +08:00
wuyongtao
836343b29e feat: 新增 compute_gateway、compute_poller、agent 模块，重构前端 dist 
- 新增 backend/app/modules/compute_gateway（client/sync）计算网关模块
- 新增 backend/app/workers/compute_poller 计算轮询 worker
- 新增 compute/agent/process_manager 进程管理器
- 新增 scripts/ 脚本目录
- 更新 Docker 部署配置（app/compute/nginx）
- 更新后端平台 API、数据库 SQL、core 配置
- 更新前端多个视图组件及 API 模块
- 重构 frontend/dist 构建产物（新 hash）
- 更新多项文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-22 20:26:16 +08:00
wuyongtao
9798b34717 feat: 重构前端 dist 构建产物，更新 Docker 配置及文档 
- 重新构建 frontend/dist（新版 hash 替换旧版）
- 更新 docker 前端 Dockerfile 及 docker-compose 配置
- 新增 docs/team-development-plan.md 团队开发计划文档
- 更新 README、系统开发计划等文档
- 更新 LoginView 组件

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 12:36:33 +08:00
wuyongtao
284995d79c chore: 更新 Docker 部署配置及文档 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 11:36:43 +08:00
wuyongtao
a72b8f1e4b feat: 更新后端平台模块、数据库、Compute引擎及多项配置文档 
- 更新 backend 平台 API、platform_store、session 数据库模块
- 新增 backend SQL 初始化脚本
- 更新 compute 引擎适配器及 README
- 更新 Docker 部署配置（app/compute）
- 更新前端入口、环境类型声明及 README
- 新增 docs/menu-functional-requirements.md 菜单功能需求文档
- 更新多项项目文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 10:55:44 +08:00
wuyongtao
bccd3bf448 feat: 更新后端配置、Docker部署、API模块及多项文档 
- 更新后端 main.py、config.py 核心配置
- 更新 compute API 模块
- 更新 Docker 部署配置（app/compute docker-compose、nginx、环境变量）
- 更新前端 API 模块（dataset、model、request）及 vite 配置
- 更新多项项目文档（架构、部署、开发计划、日志等）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 10:09:36 +08:00
wuyongtao
a67ca2c19c feat: 添加平台管理、计算模块适配器及前端页面更新 
- 新增 platform API 端点和存储
- 新增 llama_factory 适配器
- 新增前端 compute、guide、system 等视图页面
- 新增 echarts 插件和 mock 数据
- 更新 Docker 配置、后端配置及文档
- 更新前端路由、API、侧边栏等组件

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 09:23:43 +08:00
wuyongtao
2c1e08a271 feat: 重构 Docker 配置结构，添加 compute 模块及新增文档 
- 将 Dockerfile 和 docker-compose.yml 迁移至 docker/ 目录下统一管理
- 新增 compute 计算模块（API 入口、依赖配置）
- 新增 docker/app 和 docker/compute 部署配置
- 新增 demo-development-plan.md 演示开发计划文档
- 更新后端 API 设计、部署计划、架构需求等文档
- 更新 postgres 数据库 schema

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-20 14:59:31 +08:00
wuyongtao
ba4059fe3b feat: 添加后端架构、计算模块及部署文档 2026-07-16 13:47:37 +08:00
wuyongtao
4050c120d5 feat: 添加 Docker 支持与项目文档 
- 添加 Dockerfile, docker-compose.yml, .dockerignore, nginx 配置
- 添加后端 API 设计文档、平台架构需求文档、系统开发计划
- 添加 PostgreSQL schema 设计
- 更新 README.md 和 design-qa.md
 2026-07-16 11:52:05 +08:00
caoxiaozhu
687831870c feat: 看板细节优化与设计走查补充 
DashboardView 调整窄屏布局与卡片展示，回归脚本补充断言，新增窄屏看板设计截图并更新视觉走查记录。
 2026-07-12 15:40:16 +08:00
caoxiaozhu
cc113db1aa feat: 新增服务看板页面 
实现 Dashboard 看板视图并将应用默认入口由调优改为看板，路由、侧边栏默认菜单与登录跳转同步调整；侧边栏增加导航失败高亮校正，布局与 ECharts 注册柱状图适配看板，补充两份回归脚本、设计走查记录与五张设计截图。
 2026-07-11 14:49:37 +08:00
caoxiaozhu
73b2131dd4 docs: 添加数据处理状态切换移除计划 2026-07-10 23:55:16 +08:00
caoxiaozhu
f06b25c228 docs: 设计移除数据处理状态切换 2026-07-10 23:52:37 +08:00
caoxiaozhu
45b7206090 docs: 设计数据预览头部操作移除 2026-07-10 23:42:32 +08:00
caoxiaozhu
79843a4b3b docs: 添加数据任务 mock 实施计划 2026-07-10 17:02:46 +08:00
caoxiaozhu
f5b1873ee5 docs: 设计数据任务 mock 数据 2026-07-10 17:01:12 +08:00
caoxiaozhu
acdad260d7 docs: 添加设计文档与视觉走查记录 
视觉走查记录、设计方案规格（specs）、实施计划（plans）及配套截图资产，覆盖路由过渡、页面表层级、数据处理向导、训练日志重设计等改进项。
 2026-07-10 16:47:29 +08:00