YG_FT

YG-Soft/YG_FT

Fork 0

Commit Graph

Author	SHA1	Message	Date
wuyongtao	0271942ba5	feat: 模型推理异步加载与对话链路修复，同步基线模型推理全异步化改造： - 计算节点 InferenceSession 改为后台线程异步加载模型，load 立即返回，加载期间事件循环保持响应（/inference/status 与 /health 不阻塞） - 后端模型加载改为异步派发 + 轮询对账器（reconcile_inference_loads），任务状态由 starting 自动推进到 ready/error，解决多节点启动超时（timeout of 120000ms exceeded） - 推理删除/卸载改为任务感知 + 短超时，删除先删记录再 best-effort 卸载，不再被不可达节点阻塞；同节点新模型替换旧任务标记失效 - 流式对话透传 task_id/node_id 路由到真正加载模型的算力节点， useStreamChat 解析 SSE 错误帧以干净文案展示 - 对话历史按任务 id 本地持久化，退出重进可恢复；移除页脚提示文本 - 新增后端推理异步加载与计算节点异步状态机单元测试 Co-Authored-By: Claude <noreply@anthropic.com>	2026-08-04 16:59:34 +08:00
wuyongtao	c7c9ed925b	feat: 模型推理端到端闭环 — 真实流式推理 + 释放/删除 + GPU 状态同步后端 (platform.py + platform_store.py): - 新增 _build_messages_payload() 转换前端格式为 OpenAI messages - 新增 _stream_chat_proxy() SSE 流式代理到算力节点 - 新增 _unload_from_compute_node() 真正释放算力节点 GPU 显存 - 重写 model_compare_load: 从假 PID/端口改为真正调用算力节点加载模型 - 修复 model_compare_unload: 调用 _unload_from_compute_node 释放 GPU - 修复 model_compare_delete: 先释放 GPU 再删除记录 - 修复 model_compare_stream_chat: 从 mock 改为 StreamingResponse 代理 - 修复 model_chat_local/stream: 消息格式转换 + 路径修正 - PlatformStore 新增 _inference_nodes 追踪，gpus() 同步推理占用状态 - preload/unload 端点标记/清除推理节点占用算力节点 (compute): - inference.py: 适配新版 LLaMA-Factory API (get_infer_args 4 返回值、ChatModel args dict、stream_chat 新签名) - inference.py: unload() 增加 gc.collect + torch.cuda.empty_cache + synchronize 彻底释放显存 - main.py: inference/load 移除 HTTPException(500)，错误以 200 正常返回前端: - InferenceChatView: 真实模式下走 SSE 流式推理，mock 模式保留兼容 - InferenceCreateView: 调用 preloadLocalModel + createCompare 真实创建推理任务，失败回退 mock - InferenceListView: 「停止」改为「释放」，删除前先释放算力节点，改进错误提示 - compare.ts: 新增 streamChatReal() fetch SSE，preload 超时提升至 5 分钟 - useStreamChat.ts: send() 支持 useMock 参数，真实模式调用 streamChatReal - GPU 选择过滤: 仅显示在线算力节点上的空闲 GPU Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-28 17:29:16 +08:00
wuyongtao	f917a025e1	feat: 基于 LLaMA-Factory 实现模型推理引擎利用容器内已有的 LLaMA-Factory ChatModel (huggingface 后端) 实现真实模型推理，无需额外安装 vLLM。 Compute 端新增: - compute/engines/llama_factory/inference.py InferenceSession: 模型加载/卸载/对话/流式输出支持 base model 和 LoRA adapter，线程安全 - compute/api/main.py 新增 5 个推理端点: POST /inference/load - 加载模型 POST /inference/unload - 卸载释放 GPU 显存 GET /inference/status - 查询会话状态 POST /inference/chat - 非流式对话 POST /inference/chat/stream - SSE 流式对话后端新增: - platform.py 推理代理端点（local/chat, local/chat/stream, local/preload, local/unload, local/status, trained/preload） - ComputeNodeClient._request 通用请求方法 - _select_first_online_node 自动选择在线节点 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-28 13:49:10 +08:00

Author

SHA1

Message

Date

wuyongtao

0271942ba5

feat: 模型推理异步加载与对话链路修复，同步基线

模型推理全异步化改造：
- 计算节点 InferenceSession 改为后台线程异步加载模型，load 立即返回，
  加载期间事件循环保持响应（/inference/status 与 /health 不阻塞）
- 后端模型加载改为异步派发 + 轮询对账器（reconcile_inference_loads），
  任务状态由 starting 自动推进到 ready/error，解决多节点启动超时
  （timeout of 120000ms exceeded）
- 推理删除/卸载改为任务感知 + 短超时，删除先删记录再 best-effort 卸载，
  不再被不可达节点阻塞；同节点新模型替换旧任务标记失效
- 流式对话透传 task_id/node_id 路由到真正加载模型的算力节点，
  useStreamChat 解析 SSE 错误帧以干净文案展示
- 对话历史按任务 id 本地持久化，退出重进可恢复；移除页脚提示文本
- 新增后端推理异步加载与计算节点异步状态机单元测试

Co-Authored-By: Claude <noreply@anthropic.com>

2026-08-04 16:59:34 +08:00

wuyongtao

c7c9ed925b

feat: 模型推理端到端闭环 — 真实流式推理 + 释放/删除 + GPU 状态同步

后端 (platform.py + platform_store.py):
- 新增 _build_messages_payload() 转换前端格式为 OpenAI messages
- 新增 _stream_chat_proxy() SSE 流式代理到算力节点
- 新增 _unload_from_compute_node() 真正释放算力节点 GPU 显存
- 重写 model_compare_load: 从假 PID/端口改为真正调用算力节点加载模型
- 修复 model_compare_unload: 调用 _unload_from_compute_node 释放 GPU
- 修复 model_compare_delete: 先释放 GPU 再删除记录
- 修复 model_compare_stream_chat: 从 mock 改为 StreamingResponse 代理
- 修复 model_chat_local/stream: 消息格式转换 + 路径修正
- PlatformStore 新增 _inference_nodes 追踪，gpus() 同步推理占用状态
- preload/unload 端点标记/清除推理节点占用

算力节点 (compute):
- inference.py: 适配新版 LLaMA-Factory API (get_infer_args 4 返回值、ChatModel args dict、stream_chat 新签名)
- inference.py: unload() 增加 gc.collect + torch.cuda.empty_cache + synchronize 彻底释放显存
- main.py: inference/load 移除 HTTPException(500)，错误以 200 正常返回

前端:
- InferenceChatView: 真实模式下走 SSE 流式推理，mock 模式保留兼容
- InferenceCreateView: 调用 preloadLocalModel + createCompare 真实创建推理任务，失败回退 mock
- InferenceListView: 「停止」改为「释放」，删除前先释放算力节点，改进错误提示
- compare.ts: 新增 streamChatReal() fetch SSE，preload 超时提升至 5 分钟
- useStreamChat.ts: send() 支持 useMock 参数，真实模式调用 streamChatReal
- GPU 选择过滤: 仅显示在线算力节点上的空闲 GPU

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-28 17:29:16 +08:00

wuyongtao

f917a025e1

feat: 基于 LLaMA-Factory 实现模型推理引擎

利用容器内已有的 LLaMA-Factory ChatModel (huggingface 后端) 实现真实
模型推理，无需额外安装 vLLM。

Compute 端新增:
- compute/engines/llama_factory/inference.py
  InferenceSession: 模型加载/卸载/对话/流式输出
  支持 base model 和 LoRA adapter，线程安全
- compute/api/main.py 新增 5 个推理端点:
  POST /inference/load      - 加载模型
  POST /inference/unload    - 卸载释放 GPU 显存
  GET  /inference/status    - 查询会话状态
  POST /inference/chat      - 非流式对话
  POST /inference/chat/stream - SSE 流式对话

后端新增:
- platform.py 推理代理端点（local/chat, local/chat/stream,
  local/preload, local/unload, local/status, trained/preload）
- ComputeNodeClient._request 通用请求方法
- _select_first_online_node 自动选择在线节点

Co-Authored-By: Claude <noreply@anthropic.com>

2026-07-28 13:49:10 +08:00

3 Commits