wuyongtao 9379f93633 feat: 推理与评测支持多卡 GPU 选择,训练任务实时 GPU 监控
- 新增 GPU 选择归一化 helper,统一前端各形态的选择(gpu_indices/gpus/gpu_id)
- 评测与推理支持同一节点内多卡选择,校验所选 GPU 空闲后再派发
- 新增 /fine-tune/{id}/gpu-status 接口,训练日志页展示实时 GPU 指标
- 算力节点推理加载支持 CUDA_VISIBLE_DEVICES 多卡可见,nvidia-smi 进程级监控
- GPU 占用跟踪细化为按卡记录,覆盖评测任务、推理模型与对比任务

Co-Authored-By: Claude <noreply@anthropic.com>
2026-08-19 11:12:17 +08:00
2026-08-05 16:23:00 +08:00

YG_FT 模型微调平台

YG_FT 是面向多用户、多租户和多算力节点的模型训练与推理平台,提供数据集、模型、训练、权重合并、推理、评测、算力节点、项目隔离、权限和审计能力。

架构

浏览器 -> Frontend Nginx:16801 -> Backend API:17861
                                      |-> PostgreSQL元数据、权限、审计、任务状态
                                      |-> Redis缓存及任务辅助状态
                                      |-> MinIO:19000模型和数据唯一对象源
                                      |-> Compute API:19100
                                                |-> Compute Agent/GPU/LLaMA-Factory
                                      `-> File Gateway:19101

Backend、MinIO 和 Compute 节点可以部署在不同服务器,不依赖跨服务器 Docker 网络,通过 IP、DNS 或负载均衡地址通信。Compute 节点只保存按需准备的本地缓存MinIO 是模型、数据集、权重、评测报告和训练产物的唯一数据源。

目录

目录 作用
frontend/ Vue 3、TypeScript、Element Plus 控制台
backend/app/api/v1/ 平台 REST API
backend/app/core/ 配置、认证、权限和日志
backend/app/db/ PostgreSQL 访问和初始化 SQL
backend/app/modules/ 系统、资源、审批、数据处理和存储模块
backend/app/workers/ 节点轮询、任务对账和资源同步
compute/ Compute API、Agent、GPU 和训练引擎
docker/ 应用、MinIO、算力服务部署文件
docs/ 架构、权限、部署和测试文档

端口

服务 主机端口 容器端口
Frontend 16801 80
Backend API 17861 8000
Redis 16379 6379
MinIO API/Console 19000/19001 9000/9001
Compute API/File Gateway 19100/19101 9100

启动

cd frontend && npm ci && npm run build && cd ..
docker build -f docker/app/Dockerfile.backend -t yg-ft-backend-api:latest .
docker build -f docker/app/Dockerfile.frontend -t yg-ft-frontend-runtime:latest .
docker build -f docker/compute/Dockerfile.compute -t yg-ft-compute-api:latest .
cd docker/minio && docker compose up -d
cd ../app && docker compose up -d
cd ../compute && docker compose up -d

权限与性能

系统使用角色权限、资源 ACL、用户/项目/租户归属联合校验;删除为软删除,关键操作写入审计。模型合并前准备 base model 和 adapter结果归档 MinIO推理前按选择节点准备缓存。远程 PostgreSQL 延迟会影响全量列表和看板,页面慢时应检查浏览器 Network、Nginx、Backend 日志、连接池和节点可达性。

详细部署见 docker/README.md,测试见 测试用例.md,本次快照见 docs/20260812/

Description
远光微调平台
Readme 169 MiB
Languages
Vue 57.7%
TypeScript 18.7%
JavaScript 13.1%
Python 9.5%
SCSS 0.9%