wuyongtao
|
0c39f2f5b9
|
feat: 模型评测端到端闭环 — EvalRunner引擎 + 算力节点Job执行 + 结果回写
算力节点 (compute):
- 新建 eval_runner.py: 评测执行引擎，作为subprocess运行
- 加载模型 + JSONL数据集 + 逐样本推理
- BLEU/ROUGE/Cosine基础指标计算
- LLM Judge评分(OpenAI兼容API调用)
- 结果写入eval_results.json
- adapter.py: build_command新增engine=eval分支
- main.py: 新增/json模块导入，新增/compute/files/read端点，eval job校验
后端:
- platform.py: 重写startEval提交eval job到算力节点
- 支持models表和trained_models表查找
- 已合并模型不传adapter路径
- platform_store.py: 新增update_eval_task/running_eval_tasks/apply_eval_job_result
- sync.py: poller新增eval job同步，异步读取eval_results.json回写结果
前端:
- EvalCreateView/DimensionCreateView: eval模型过滤扩展(API类型+api_url)
- EvalCreateView: GPU过滤在线节点空闲GPU
- EvalTaskSetupStep: GPU value从数组index改为gpu.id
- BasicMetricSetupStep: ROUGE方法名修正(rouge_1→rouge1)
- EvalView: 新增5秒轮询刷新
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-28 19:34:41 +08:00 |
|
wuyongtao
|
a9ab130d43
|
feat: P0 训练闭环核心功能实现
P0-1 模型路径治理:
- 新增 003_model_path_governance.sql 迁移，models 表增加 can_train 字段
- create_model/update_model 自动计算 can_train（非API+有路径=可训练）
- _compute_job_payload_from_task_node 拒绝 API 模型和无可训练路径模型
- 平台诊断规则增加 API 模型/路径缺失检测
P0-2 数据集格式校验:
- 新增 dataset_format.py，支持 Alpaca/ShareGPT/DPO/CPT 格式校验
- 训练预检时自动根据 train_type 匹配格式并校验内容字段
- llama_dataset_info 增加 DPO/CPT 格式列映射
P0-3 训练完成产物入库:
- _ensure_trained_model 使用 compute 节点返回的真实 artifacts
- 注册 per-file artifact 记录（含 size_bytes/checksum_sha256）
- trained_models 表增加 artifact_dir 字段
P0-4 失败日志拉取:
- poll_compute_jobs_once 检测到 failed/stopped 时强制拉取最后 200 行日志
- apply_compute_job 持久化失败日志片段到任务 payload
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-28 13:10:53 +08:00 |
|
wuyongtao
|
b28cfbc6fa
|
feat: 更新后端平台模块、Compute引擎、前端组件及构建产物
- 更新 backend 平台 API、platform_store、compute_gateway sync
- 更新 compute agent/engine/adapter 及 API
- 更新 Docker 部署配置（app/compute）
- 新增 frontend/src/utils/ 工具模块
- 新增 scripts/ops_diagnostics.py 运维诊断脚本
- 新增 docs/2026-07-23-development-summary.md 开发总结
- 重构 frontend/dist 构建产物（新 hash）
- 更新前端多个视图组件及 API 模块
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-23 19:32:42 +08:00 |
|
wuyongtao
|
836343b29e
|
feat: 新增 compute_gateway、compute_poller、agent 模块，重构前端 dist
- 新增 backend/app/modules/compute_gateway（client/sync）计算网关模块
- 新增 backend/app/workers/compute_poller 计算轮询 worker
- 新增 compute/agent/process_manager 进程管理器
- 新增 scripts/ 脚本目录
- 更新 Docker 部署配置（app/compute/nginx）
- 更新后端平台 API、数据库 SQL、core 配置
- 更新前端多个视图组件及 API 模块
- 重构 frontend/dist 构建产物（新 hash）
- 更新多项文档
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-22 20:26:16 +08:00 |
|