YG-Soft/YG_FT
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
193 Commits 5 Branches 1 Tag
7f93ed6d0931cea813529d4667fb4be0f9bb835f
Commit Graph

33 Commits

Author SHA1 Message Date
wangjiming
7f93ed6d09 feat: 更新 request.ts 2026-08-04 17:18:50 +08:00
wangjiming
5ec950cc9f feat: 更新 request.ts 2026-08-04 17:02:57 +08:00
wuyongtao
0271942ba5 feat: 模型推理异步加载与对话链路修复，同步基线 
模型推理全异步化改造：
- 计算节点 InferenceSession 改为后台线程异步加载模型，load 立即返回，
  加载期间事件循环保持响应（/inference/status 与 /health 不阻塞）
- 后端模型加载改为异步派发 + 轮询对账器（reconcile_inference_loads），
  任务状态由 starting 自动推进到 ready/error，解决多节点启动超时
  （timeout of 120000ms exceeded）
- 推理删除/卸载改为任务感知 + 短超时，删除先删记录再 best-effort 卸载，
  不再被不可达节点阻塞；同节点新模型替换旧任务标记失效
- 流式对话透传 task_id/node_id 路由到真正加载模型的算力节点，
  useStreamChat 解析 SSE 错误帧以干净文案展示
- 对话历史按任务 id 本地持久化，退出重进可恢复；移除页脚提示文本
- 新增后端推理异步加载与计算节点异步状态机单元测试

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-04 16:59:34 +08:00
wuyongtao
250e060271 feat: 看板服务状态优化，移除前端访问统计埋点，修正列表页文案与类型 
- 看板：补齐各服务模块图标，服务状态表格改为自适应行高并支持滚动
- 移除前端请求访问统计埋点及对应 audit-visit API 模块
- 平台接口：清理 service_checks 循环中未使用的路径变量
- 系统模块：导出 SystemUser 类型
- 项目/租户列表：统一“项目名称/编码 ID/租户 ID”文案，补充表格行类型断言修复

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-04 11:34:04 +08:00
wangjiming
62a1d03eac 更新前端看板1 2026-08-03 17:24:45 +08:00
wangjiming
94230cad16 更新前端看板 2026-08-03 16:33:08 +08:00
wangjiming
0c601934a0 更新前端看板 2026-08-03 16:20:21 +08:00
wuyongtao
5cc306eb0a fix: 推理/评测结果同步、数据集统计与算力节点管理增强 
后端:
- 抽取 fetch_eval_result_content 复用函数，model_eval_detail 直接应用评测任务结果
- health 接口移除数据库依赖，返回静态指标
- 数据集: count_dataset_records JSON 感知计数; 文件统计改为从 dataset_files 聚合重算; 在线编辑记录 size/record_count/version_no; 上传同步批处理
- 算力节点: 调度支持 requested GPU 子集校验与容量计算; 新增 delete_compute_node(含活动任务保护)及 DELETE 接口; 连接池 connect_timeout
- 评测任务落库 basic_metrics/score/completed_time, failed/stopped 记录 error

评测引擎:
- _load_dataset 支持 JSON/JSONL 文件
- 新增 exact match 与文本相似度指标, 余弦相似度去掉 2 样本限制

前端:
- 算力节点列表「维护」改为「删除」(带确认弹窗), compute.ts 新增 deleteComputeNode
- 数据集上传超时调整为 120s; FineTuneTask 增加 compute_node_id; GpuInfo 状态增加 reserved
 2026-08-03 15:49:21 +08:00
wuyongtao
24c77a990a Merge branch 'ft_wyt' of http://www.caoxiaozhu.com:13001/YG-Soft/YG_FT into ft_wyt 
# Conflicts:
#	backend/app/api/v1/endpoints/platform.py
#	compute/requirements.txt
 2026-08-03 09:42:49 +08:00
wangjiming
15c4223f2c update 2026-08-03 09:34:08 +08:00
caoxiaozhu
b975de02da fix: 完善数据预处理与 JSON 上传链路 2026-07-30 16:54:00 +08:00
wuyongtao
c7c9ed925b feat: 模型推理端到端闭环 — 真实流式推理 + 释放/删除 + GPU 状态同步 
后端 (platform.py + platform_store.py):
- 新增 _build_messages_payload() 转换前端格式为 OpenAI messages
- 新增 _stream_chat_proxy() SSE 流式代理到算力节点
- 新增 _unload_from_compute_node() 真正释放算力节点 GPU 显存
- 重写 model_compare_load: 从假 PID/端口改为真正调用算力节点加载模型
- 修复 model_compare_unload: 调用 _unload_from_compute_node 释放 GPU
- 修复 model_compare_delete: 先释放 GPU 再删除记录
- 修复 model_compare_stream_chat: 从 mock 改为 StreamingResponse 代理
- 修复 model_chat_local/stream: 消息格式转换 + 路径修正
- PlatformStore 新增 _inference_nodes 追踪，gpus() 同步推理占用状态
- preload/unload 端点标记/清除推理节点占用

算力节点 (compute):
- inference.py: 适配新版 LLaMA-Factory API (get_infer_args 4 返回值、ChatModel args dict、stream_chat 新签名)
- inference.py: unload() 增加 gc.collect + torch.cuda.empty_cache + synchronize 彻底释放显存
- main.py: inference/load 移除 HTTPException(500)，错误以 200 正常返回

前端:
- InferenceChatView: 真实模式下走 SSE 流式推理，mock 模式保留兼容
- InferenceCreateView: 调用 preloadLocalModel + createCompare 真实创建推理任务，失败回退 mock
- InferenceListView: 「停止」改为「释放」，删除前先释放算力节点，改进错误提示
- compare.ts: 新增 streamChatReal() fetch SSE，preload 超时提升至 5 分钟
- useStreamChat.ts: send() 支持 useMock 参数，真实模式调用 streamChatReal
- GPU 选择过滤: 仅显示在线算力节点上的空闲 GPU

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-28 17:29:16 +08:00
caoxiaozhu
01d2e6c76a feat(data-process): 完善后台生成与失败重试 2026-07-28 10:56:05 +08:00
caoxiaozhu
8a6a6574bb feat(data-process): 完善 Word 与 Excel 原文件预览 2026-07-27 16:24:53 +08:00
caoxiaozhu
bce586697b fix(dataset): 统一大小与版本元数据 2026-07-27 12:26:09 +08:00
caoxiaozhu
06e7455630 feat(data-process): 接入重新生成配置流程 2026-07-25 22:41:06 +08:00
caoxiaozhu
ea0013b99c fix(auth): 长任务活跃期间续期会话 2026-07-25 18:15:49 +08:00
caoxiaozhu
ad64e44860 feat(data-process): 优化上传切分流程与PDF高亮预览 2026-07-24 14:35:03 +08:00
wuyongtao
2b10c013ce feat: 更新后端平台模块、前端组件及构建产物，新增工作计划文档 
- 更新 backend 平台 API endpoints 及 platform_store
- 更新前端 ComputeNodesView、DataProcessCreateView、FineTuneCreateView 等组件
- 更新前端 API 模块（compute、fineTune）
- 重构 frontend/dist 构建产物（新 hash）
- 新增 docs/2026-07-24-work-plan.md 工作计划文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-24 10:27:52 +08:00
wuyongtao
b28cfbc6fa feat: 更新后端平台模块、Compute引擎、前端组件及构建产物 
- 更新 backend 平台 API、platform_store、compute_gateway sync
- 更新 compute agent/engine/adapter 及 API
- 更新 Docker 部署配置（app/compute）
- 新增 frontend/src/utils/ 工具模块
- 新增 scripts/ops_diagnostics.py 运维诊断脚本
- 新增 docs/2026-07-23-development-summary.md 开发总结
- 重构 frontend/dist 构建产物（新 hash）
- 更新前端多个视图组件及 API 模块

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-23 19:32:42 +08:00
caoxiaozhu
f04dc479bb feat: 完成数据处理接口与前端接入 2026-07-23 15:10:13 +08:00
wuyongtao
836343b29e feat: 新增 compute_gateway、compute_poller、agent 模块，重构前端 dist 
- 新增 backend/app/modules/compute_gateway（client/sync）计算网关模块
- 新增 backend/app/workers/compute_poller 计算轮询 worker
- 新增 compute/agent/process_manager 进程管理器
- 新增 scripts/ 脚本目录
- 更新 Docker 部署配置（app/compute/nginx）
- 更新后端平台 API、数据库 SQL、core 配置
- 更新前端多个视图组件及 API 模块
- 重构 frontend/dist 构建产物（新 hash）
- 更新多项文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-22 20:26:16 +08:00
wuyongtao
817d13c8f7 chore: 更新后端配置、Docker部署及前端API请求配置 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 11:06:34 +08:00
wuyongtao
bccd3bf448 feat: 更新后端配置、Docker部署、API模块及多项文档 
- 更新后端 main.py、config.py 核心配置
- 更新 compute API 模块
- 更新 Docker 部署配置（app/compute docker-compose、nginx、环境变量）
- 更新前端 API 模块（dataset、model、request）及 vite 配置
- 更新多项项目文档（架构、部署、开发计划、日志等）

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 10:09:36 +08:00
wuyongtao
a67ca2c19c feat: 添加平台管理、计算模块适配器及前端页面更新 
- 新增 platform API 端点和存储
- 新增 llama_factory 适配器
- 新增前端 compute、guide、system 等视图页面
- 新增 echarts 插件和 mock 数据
- 更新 Docker 配置、后端配置及文档
- 更新前端路由、API、侧边栏等组件

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 09:23:43 +08:00
caoxiaozhu
4173b53b1b refactor: 前端构建按需化与 Mock 懒加载 
移除全量 Element Plus 与全局 VChart 注册，改为按需引入样式与组件内局部图表；Mock 适配器改为按 VITE_ENABLE_MOCK 环境变量懒加载，生产默认不拦截请求；ECharts 精简为看板所需图表，各视图与 stores 同步适配。
 2026-07-16 11:03:54 +08:00
caoxiaozhu
e09c6e81df feat: 用户与权限管理 
新增 PermissionCode 权限类型与用户/权限 API，路由注册用户设置/创建/权限页与无权访问页并接入权限守卫，AppSidebar 按权限过滤菜单并新增用户设置入口，auth store 与 mock 适配器同步支持用户管理与新登录认证，回归脚本与 npm 脚本注册。
 2026-07-14 16:10:50 +08:00
caoxiaozhu
2bceb686c6 feat: 数据集版本管理支持删除历史版本 
DatasetVersionList 新增 next_version_number，API 与 Mock 补充删除版本接口与并发控制，DatasetVersionBar 增加删除操作并对初始版本与最后版本禁用，DatasetPreviewView 接入删除流程，回归脚本与设计走查同步。
 2026-07-14 14:47:12 +08:00
caoxiaozhu
acbd6d91b3 feat: 评测创建支持基础指标配置与启动参数类型化 
新增 StartEvalPayload 与 BasicEvalMetricsConfig 类型约束启动评测接口，创建向导补充 BLEU、ROUGE、余弦相似度等基础指标配置，维度表单与规则步骤同步调整，回归脚本扩充断言。
 2026-07-14 09:40:17 +08:00
caoxiaozhu
735a8a71f5 refactor: 调优创建提取表单模型 
将默认参数、命令构建、payload 构造逻辑抽离为 fineTuneFormModel.ts，新增 FineTuneStartPayload 类型约束启动训练接口，FineTuneCreateView 瘦身为视图层，列表微调，回归脚本适配。
 2026-07-13 15:28:17 +08:00
caoxiaozhu
0d82930181 feat: 数据集版本管理 
新增数据集版本创建、切换、激活与历史追溯能力，Mock 通过 localStorage 持久化版本状态并接入版本接口路由，预览页支持版本对比与内容回滚，列表补充版本入口，回归脚本扩充断言。
 2026-07-13 10:31:20 +08:00
caoxiaozhu
71ce26fff6 feat: 评测模块新增详情页与创建向导 
新增 EvalTaskDetail 与逐样本结果类型，Mock 与适配器补充评测详情接口，路由注册详情页并将维度创建并入向导；EvalCreateView 改为分步向导（任务配置、规则设置、维度表单），新增 EvalDetailView 展示综合得分与样本判定，列表补充详情入口，配套两份回归脚本。
 2026-07-12 15:39:59 +08:00
caoxiaozhu
ca9e05aa91 feat: 实现基础设施层 
axios 请求封装及七个业务模块 API，Pinia 状态管理（auth/system/models/tools），Mock 适配器与数据，以及流式对话、轮询、倒计时组合式函数。
 2026-07-10 16:45:06 +08:00