wuyongtao
|
0292bf5138
|
fix: 模型评测异步加载等待与多节点路由修复
- eval_runner 等待异步模型加载完成（InferenceSession.wait_until_loaded），
修复 "model load failed: unknown"
- 评测算力节点选择：优先页面选择的节点 / 模型所在节点（_select_eval_node），
多节点时不再派发到不可达节点导致连接超时
- 前端评测 GPU 选择改为节点感知（节点:GPU 复合值），透传 compute_node_id，
并检查 startEval 结果展示真实错误
- 大模型评价（judge）使用模型记录的真实 API 模型名（api_model），
避免用平台内部名调用 LLM API 导致 HTTP 400
- 新增后端节点选择与 compute wait_until_loaded 单元测试
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-04 18:21:16 +08:00 |
|
wuyongtao
|
4e5c43fad5
|
feat: 评测任务元数据增强与前端展示优化
后端:
- 新增评测指标标签生成(_build_eval_metric_label/_basic_metric_labels)
- eval 任务 payload 富化(_enrich_eval_payload): 解析模型名/数据集名/维度配置, 生成 metric_label
- 任务创建时解析 trained_models/模型名, metric 回退为 metric_label
- 运行时状态刷新增加 2s 节流, 避免频繁触发
前端:
- EvalTask 类型增加 dataset_id/metric_label
- 评测列表与详情展示 metric_label 指标标签, 模型名/指标超长 tooltip 省略
- 创建页改用 getComputeGpus 过滤空闲 GPU, 移除 getSystemInfo 依赖
|
2026-08-03 17:34:21 +08:00 |
|
wuyongtao
|
0c39f2f5b9
|
feat: 模型评测端到端闭环 — EvalRunner引擎 + 算力节点Job执行 + 结果回写
算力节点 (compute):
- 新建 eval_runner.py: 评测执行引擎，作为subprocess运行
- 加载模型 + JSONL数据集 + 逐样本推理
- BLEU/ROUGE/Cosine基础指标计算
- LLM Judge评分(OpenAI兼容API调用)
- 结果写入eval_results.json
- adapter.py: build_command新增engine=eval分支
- main.py: 新增/json模块导入，新增/compute/files/read端点，eval job校验
后端:
- platform.py: 重写startEval提交eval job到算力节点
- 支持models表和trained_models表查找
- 已合并模型不传adapter路径
- platform_store.py: 新增update_eval_task/running_eval_tasks/apply_eval_job_result
- sync.py: poller新增eval job同步，异步读取eval_results.json回写结果
前端:
- EvalCreateView/DimensionCreateView: eval模型过滤扩展(API类型+api_url)
- EvalCreateView: GPU过滤在线节点空闲GPU
- EvalTaskSetupStep: GPU value从数组index改为gpu.id
- BasicMetricSetupStep: ROUGE方法名修正(rouge_1→rouge1)
- EvalView: 新增5秒轮询刷新
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-28 19:34:41 +08:00 |
|
caoxiaozhu
|
acbd6d91b3
|
feat: 评测创建支持基础指标配置与启动参数类型化
新增 StartEvalPayload 与 BasicEvalMetricsConfig 类型约束启动评测接口，创建向导补充 BLEU、ROUGE、余弦相似度等基础指标配置，维度表单与规则步骤同步调整，回归脚本扩充断言。
|
2026-07-14 09:40:17 +08:00 |
|
caoxiaozhu
|
42f2efb449
|
refactor: 评测创建步骤导航条结构优化
步骤连接符独立为单独元素并随完成状态高亮，修复窄屏连接线显示。
|
2026-07-13 17:12:49 +08:00 |
|
caoxiaozhu
|
03d4c9fbd8
|
feat: 评测创建改为分步向导
任务配置与评测规则拆分为两个独立步骤，新增步骤导航条与下一步/返回流程，逐步校验任务配置后再进入规则设置，提交时仅校验规则项。
|
2026-07-13 10:31:40 +08:00 |
|
caoxiaozhu
|
862a7972cf
|
refactor: 简化评测创建向导规则来源
移除已有维度/基线两种规则来源，评测创建仅保留新建维度流程并自动生成维度名称；维度名称字段回归独立创建页，表单校验改为返回精确布尔值并启用 scroll-to-error。
|
2026-07-12 22:49:05 +08:00 |
|
caoxiaozhu
|
71ce26fff6
|
feat: 评测模块新增详情页与创建向导
新增 EvalTaskDetail 与逐样本结果类型，Mock 与适配器补充评测详情接口，路由注册详情页并将维度创建并入向导；EvalCreateView 改为分步向导（任务配置、规则设置、维度表单），新增 EvalDetailView 展示综合得分与样本判定，列表补充详情入口，配套两份回归脚本。
|
2026-07-12 15:39:59 +08:00 |
|
caoxiaozhu
|
6f6609dae5
|
feat: 实现业务视图页面
登录、模型调优、评测、推理、对比、模型管理、数据集、数据处理、工具、系统（硬件/日志/训练日志）等全部业务页面视图。
|
2026-07-10 16:45:55 +08:00 |
|