wuyongtao
|
0271942ba5
|
feat: 模型推理异步加载与对话链路修复，同步基线
模型推理全异步化改造：
- 计算节点 InferenceSession 改为后台线程异步加载模型，load 立即返回，
加载期间事件循环保持响应（/inference/status 与 /health 不阻塞）
- 后端模型加载改为异步派发 + 轮询对账器（reconcile_inference_loads），
任务状态由 starting 自动推进到 ready/error，解决多节点启动超时
（timeout of 120000ms exceeded）
- 推理删除/卸载改为任务感知 + 短超时，删除先删记录再 best-effort 卸载，
不再被不可达节点阻塞；同节点新模型替换旧任务标记失效
- 流式对话透传 task_id/node_id 路由到真正加载模型的算力节点，
useStreamChat 解析 SSE 错误帧以干净文案展示
- 对话历史按任务 id 本地持久化，退出重进可恢复；移除页脚提示文本
- 新增后端推理异步加载与计算节点异步状态机单元测试
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-04 16:59:34 +08:00 |
|
wuyongtao
|
5cc306eb0a
|
fix: 推理/评测结果同步、数据集统计与算力节点管理增强
后端:
- 抽取 fetch_eval_result_content 复用函数，model_eval_detail 直接应用评测任务结果
- health 接口移除数据库依赖，返回静态指标
- 数据集: count_dataset_records JSON 感知计数; 文件统计改为从 dataset_files 聚合重算; 在线编辑记录 size/record_count/version_no; 上传同步批处理
- 算力节点: 调度支持 requested GPU 子集校验与容量计算; 新增 delete_compute_node(含活动任务保护)及 DELETE 接口; 连接池 connect_timeout
- 评测任务落库 basic_metrics/score/completed_time, failed/stopped 记录 error
评测引擎:
- _load_dataset 支持 JSON/JSONL 文件
- 新增 exact match 与文本相似度指标, 余弦相似度去掉 2 样本限制
前端:
- 算力节点列表「维护」改为「删除」(带确认弹窗), compute.ts 新增 deleteComputeNode
- 数据集上传超时调整为 120s; FineTuneTask 增加 compute_node_id; GpuInfo 状态增加 reserved
|
2026-08-03 15:49:21 +08:00 |
|
wuyongtao
|
f917a025e1
|
feat: 基于 LLaMA-Factory 实现模型推理引擎
利用容器内已有的 LLaMA-Factory ChatModel (huggingface 后端) 实现真实
模型推理，无需额外安装 vLLM。
Compute 端新增:
- compute/engines/llama_factory/inference.py
InferenceSession: 模型加载/卸载/对话/流式输出
支持 base model 和 LoRA adapter，线程安全
- compute/api/main.py 新增 5 个推理端点:
POST /inference/load - 加载模型
POST /inference/unload - 卸载释放 GPU 显存
GET /inference/status - 查询会话状态
POST /inference/chat - 非流式对话
POST /inference/chat/stream - SSE 流式对话
后端新增:
- platform.py 推理代理端点（local/chat, local/chat/stream,
local/preload, local/unload, local/status, trained/preload）
- ComputeNodeClient._request 通用请求方法
- _select_first_online_node 自动选择在线节点
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-28 13:49:10 +08:00 |
|
wuyongtao
|
836343b29e
|
feat: 新增 compute_gateway、compute_poller、agent 模块，重构前端 dist
- 新增 backend/app/modules/compute_gateway（client/sync）计算网关模块
- 新增 backend/app/workers/compute_poller 计算轮询 worker
- 新增 compute/agent/process_manager 进程管理器
- 新增 scripts/ 脚本目录
- 更新 Docker 部署配置（app/compute/nginx）
- 更新后端平台 API、数据库 SQL、core 配置
- 更新前端多个视图组件及 API 模块
- 重构 frontend/dist 构建产物（新 hash）
- 更新多项文档
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-22 20:26:16 +08:00 |
|