2 Commits

Author	SHA1	Message	Date
wuyongtao	c7c9ed925b	feat: 模型推理端到端闭环 — 真实流式推理 + 释放/删除 + GPU 状态同步 ... 后端 (platform.py + platform_store.py): - 新增 _build_messages_payload() 转换前端格式为 OpenAI messages - 新增 _stream_chat_proxy() SSE 流式代理到算力节点 - 新增 _unload_from_compute_node() 真正释放算力节点 GPU 显存 - 重写 model_compare_load: 从假 PID/端口改为真正调用算力节点加载模型 - 修复 model_compare_unload: 调用 _unload_from_compute_node 释放 GPU - 修复 model_compare_delete: 先释放 GPU 再删除记录 - 修复 model_compare_stream_chat: 从 mock 改为 StreamingResponse 代理 - 修复 model_chat_local/stream: 消息格式转换 + 路径修正 - PlatformStore 新增 _inference_nodes 追踪，gpus() 同步推理占用状态 - preload/unload 端点标记/清除推理节点占用 算力节点 (compute): - inference.py: 适配新版 LLaMA-Factory API (get_infer_args 4 返回值、ChatModel args dict、stream_chat 新签名) - inference.py: unload() 增加 gc.collect + torch.cuda.empty_cache + synchronize 彻底释放显存 - main.py: inference/load 移除 HTTPException(500)，错误以 200 正常返回 前端: - InferenceChatView: 真实模式下走 SSE 流式推理，mock 模式保留兼容 - InferenceCreateView: 调用 preloadLocalModel + createCompare 真实创建推理任务，失败回退 mock - InferenceListView: 「停止」改为「释放」，删除前先释放算力节点，改进错误提示 - compare.ts: 新增 streamChatReal() fetch SSE，preload 超时提升至 5 分钟 - useStreamChat.ts: send() 支持 useMock 参数，真实模式调用 streamChatReal - GPU 选择过滤: 仅显示在线算力节点上的空闲 GPU Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-28 17:29:16 +08:00
wuyongtao	f917a025e1	feat: 基于 LLaMA-Factory 实现模型推理引擎 ... 利用容器内已有的 LLaMA-Factory ChatModel (huggingface 后端) 实现真实 模型推理，无需额外安装 vLLM。 Compute 端新增: - compute/engines/llama_factory/inference.py InferenceSession: 模型加载/卸载/对话/流式输出 支持 base model 和 LoRA adapter，线程安全 - compute/api/main.py 新增 5 个推理端点: POST /inference/load - 加载模型 POST /inference/unload - 卸载释放 GPU 显存 GET /inference/status - 查询会话状态 POST /inference/chat - 非流式对话 POST /inference/chat/stream - SSE 流式对话 后端新增: - platform.py 推理代理端点（local/chat, local/chat/stream, local/preload, local/unload, local/status, trained/preload） - ComputeNodeClient._request 通用请求方法 - _select_first_online_node 自动选择在线节点 Co-Authored-By: Claude <noreply@anthropic.com>	2026-07-28 13:49:10 +08:00