f917a025e1
利用容器内已有的 LLaMA-Factory ChatModel (huggingface 后端) 实现真实 模型推理，无需额外安装 vLLM。 Compute 端新增: - compute/engines/llama_factory/inference.py InferenceSession: 模型加载/卸载/对话/流式输出 支持 base model 和 LoRA adapter，线程安全 - compute/api/main.py 新增 5 个推理端点: POST /inference/load - 加载模型 POST /inference/unload - 卸载释放 GPU 显存 GET /inference/status - 查询会话状态 POST /inference/chat - 非流式对话 POST /inference/chat/stream - SSE 流式对话 后端新增: - platform.py 推理代理端点（local/chat, local/chat/stream, local/preload, local/unload, local/status, trained/preload） - ComputeNodeClient._request 通用请求方法 - _select_first_online_node 自动选择在线节点 Co-Authored-By: Claude <noreply@anthropic.com>
Backend Service
后端工程使用 FastAPI，定位为模型微调平台的应用平台服务，负责用户中心、多租户、权限隔离、项目、数据集、模型、训练任务、审批、审计和算力平台编排。
目录结构
backend/
app/
main.py # FastAPI 应用入口
api/v1/ # 对前端暴露的 接口路由
core/ # 配置、日志、中间件、权限等基础能力
db/ # 数据库连接、迁移集成、事务工具
modules/ # 业务模块
auth/
tenant/
project/
model/
dataset/
data_process/
fine_tune/
eval/
inference/
approval/
audit/
compute_gateway/
file_gateway/
engine_registry/
retention/
system/
schemas/ # Pydantic 入参/出参模型
services/ # 跨模块应用服务
workers/ # 后台任务入口
requirements.txt # 后端第三方依赖
logs/ # 本地开发日志目录，生产环境建议挂载到独立日志盘
本地启动
cd backend
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
uvicorn app.main:app --reload
健康检查：
GET /modelTF/health
日志
日志模块位于 app/core/logging.py，使用说明见 ../docs/backend-logging.md。
默认日志文件：
logs/backend-YYYY-MM-DD.log
logs/error-YYYY-MM-DD.log
文件日志为 JSON Lines 格式，单个文件不超过 20MB，只保存最近 10 天，错误日志按 ERROR 级别独立拆分，便于 ELK/日志平台采集。