模型推理全异步化改造: - 计算节点 InferenceSession 改为后台线程异步加载模型,load 立即返回, 加载期间事件循环保持响应(/inference/status 与 /health 不阻塞) - 后端模型加载改为异步派发 + 轮询对账器(reconcile_inference_loads), 任务状态由 starting 自动推进到 ready/error,解决多节点启动超时 (timeout of 120000ms exceeded) - 推理删除/卸载改为任务感知 + 短超时,删除先删记录再 best-effort 卸载, 不再被不可达节点阻塞;同节点新模型替换旧任务标记失效 - 流式对话透传 task_id/node_id 路由到真正加载模型的算力节点, useStreamChat 解析 SSE 错误帧以干净文案展示 - 对话历史按任务 id 本地持久化,退出重进可恢复;移除页脚提示文本 - 新增后端推理异步加载与计算节点异步状态机单元测试 Co-Authored-By: Claude <noreply@anthropic.com>
远光软件微调平台 - 前端(Vue 3)
由原
web/静态多页面 HTML 项目改造而来。
技术栈
- Vue 3 + TypeScript + Vite
- Vue Router 4 - 路由
- Pinia - 状态管理
- Element Plus - UI 组件库(主色
#1890ff) - axios - HTTP 请求
- Chart.js - 训练曲线图表
- marked + DOMPurify - Markdown 渲染
- md-editor-v3 - Prompt 编辑器
- @vueuse/core - 组合式工具
快速开始
cd frontend
npm install
npm run dev
开发服务器默认运行在 http://localhost:16801。
后端 API 默认通过 Vite 代理转发到 http://localhost:17861(见 vite.config.ts)。
开发环境默认联调真实后端接口。如需进行隔离前端开发,可显式启用 Mock:
VITE_ENABLE_MOCK=true npm run dev
真实联调、测试环境和生产环境不应启用 Mock。
构建
npm run build # 类型检查 + 生产构建,产物在 dist/
npm run preview # 本地预览构建产物
npm run type-check # 仅类型检查
目录结构
src/
├── api/ # axios 封装 + 各业务模块 API
├── components/ # 公共组件(侧边栏、顶部栏、通用列表等)
├── composables/ # 组合式函数(流式对话、图表、轮询等)
├── constants/ # 常量与映射表
├── layouts/ # 主布局
├── router/ # 路由配置 + 登录守卫
├── stores/ # Pinia 状态(auth/system/models/tools)
├── styles/ # 全局样式与主题
├── types/ # TypeScript 类型定义
└── views/ # 页面视图
├── login/ # 登录
├── fine-tune/ # 模型调优
├── eval/ # 模型评测
├── inference/ # 模型推理
├── compare/ # 模型对比
├── model/ # 模型管理
├── dataset/ # 数据集
├── tools/ # 其他工具
└── system/ # 平台性能 / 日志
与原 web/ 项目的关系
- 原
web/目录保留不动,作为功能对照参照。 - 新前端位于
frontend/,新旧可并存。 - 后端 API 端点完全不变,仅前端实现方式改为 Vue SPA。