feat: 添加后端架构、计算模块及部署文档

README.md

@@ -1,133 +1,107 @@
-# YG_FT
+# YG_FT 模型微调平台
 
-远光微调平台 - 面向大语言模型的微调、评测、推理与对比一体化前端。
+YG_FT 是一个面向企业治理场景的完整模型微调平台，覆盖用户中心、多租户、项目隔离、数据集管理、模型管理、训练任务、评测、推理、审批流、审计留存、算力调度和训练引擎适配。当前前端已存在基础页面，后端与算力平台已按多人协作开发方式建立工程骨架。
 
-## 技术栈
+## 总体架构
 
-| 类别 | 技术 | 版本 |
-|------|------|------|
-| 框架 | Vue 3 | ^3.5.13 |
-| 语言 | TypeScript | ~5.7.2 |
-| 构建工具 | Vite | ^6.0.7 |
-| 路由 | Vue Router | ^4.5.0 |
-| 状态管理 | Pinia | ^2.3.0 |
-| UI 组件库 | Element Plus | ^2.9.1 |
-| HTTP 客户端 | axios | ^1.7.9 |
-| 图表 | ECharts / vue-echarts | ^6.1.0 / ^8.0.1 |
-| Markdown | marked + DOMPurify | ^15.0.5 / ^3.2.3 |
-| 编辑器 | md-editor-v3 | ^5.1.4 |
-| 工具集 | @vueuse/core | ^11.3.0 |
-| 样式 | Sass | ^1.83.0 |
+```text
+YG_FT/
+  frontend/                 # 前端应用，承载训练平台控制台页面
+  backend/                  # FastAPI 应用平台后端
+    app/
+      api/v1/               # 对前端暴露的 REST API
+      core/                 # 配置、日志、中间件、权限等基础能力
+      db/                   # 数据库连接、迁移、事务工具
+      modules/              # 业务模块目录
+      schemas/              # Pydantic 入参/出参模型
+      services/             # 跨模块应用服务
+      workers/              # 后台任务入口
+    requirements.txt        # 后端 Python 第三方依赖
+  compute/                  # 算力平台与训练框架适配层
+    api/                    # 内部 Compute API
+    agent/                  # 单机多 GPU 调度与进程管理
+    engines/llama_factory/  # LLaMA-Factory 适配器
+    file_gateway/           # 本地文件上传、下载、导入、产物管理
+  docs/                     # 需求、接口、数据库、开发计划和部署文档
+  docker/                   # Nginx 等容器化配置
+```
 
-**项目版本**：1.0.0
+## 平台分层
 
-## 环境要求
+| 层级 | 职责 | 主要目录 |
+| --- | --- | --- |
+| 前端控制台 | 用户操作入口、任务看板、项目/模型/数据集/训练/审批/审计页面 | `frontend/` |
+| 应用平台后端 | 用户中心、多租户、RBAC/ABAC、项目隔离、元数据、审批流、审计、API 编排 | `backend/` |
+| 算力平台 | GPU 发现、资源锁定、训练进程管理、日志采集、产物归档、任务状态回传 | `compute/` |
+| 训练引擎 | 当前固定接入 LLaMA-Factory，预留其他训练平台适配标准 | `compute/engines/` |
+| 数据层 | PostgreSQL、Redis、本地文件存储、日志归档 | `docs/postgres-schema.sql` |
 
-- **Node.js** >= 18（推荐 20 LTS）
-- **npm** >= 9
-- 后端服务运行于 `http://localhost:7861`（前端通过代理转发，见下文）
+## 关键能力
 
-## 快速开始
+- 多租户：租户级数据隔离、租户配置、租户成员和角色。
+- 权限控制：支持项目、模型、数据集级隔离，后续可扩展到字段级和操作级策略。
+- 审批流：覆盖数据集发布、模型发布、训练资源申请、推理服务上线等企业流程。
+- 审计留存：操作审计、安全审计、审批审计、任务审计，支持留存周期策略。
+- 训练任务：训练参数管理、单机多 GPU 调度、任务状态同步、训练日志、产物管理。
+- 引擎适配：默认 LLaMA-Factory，预留统一 Engine Adapter 接口接入其他微调框架。
+- 文件存储：当前使用本地磁盘，按租户/项目/数据集/任务分区。
+- 日志采集：后端 JSON Lines 日志，主日志和错误日志拆分，便于 ELK/日志平台采集。
 
-### 1. 安装依赖
+## 后端启动
 
 ```bash
-cd frontend
-npm install
+cd backend
+python -m venv .venv
+.venv\Scripts\activate
+pip install -r requirements.txt
+uvicorn app.main:app --reload
 ```
 
-### 2. 启动开发服务器
+默认健康检查：
 
-```bash
-npm run dev
+```text
+GET /api/v1/health
 ```
 
-开发服务器默认运行在 `http://localhost:6801`。
+## 日志
 
-### 3. 构建生产包
+后端日志模块位于 `backend/app/core/logging.py`，说明文档见：
 
-```bash
-npm run build      # 类型检查 + 生产构建，产物输出到 dist/
-npm run preview    # 本地预览构建产物
+- `docs/backend-logging.md`
+
+默认输出：
+
+```text
+logs/backend-YYYY-MM-DD.log
+logs/error-YYYY-MM-DD.log
 ```
 
-### 4. 类型检查
+日志格式为 JSON Lines，单个文件不超过 20MB，只保留最近 10 天。
 
-```bash
-npm run type-check
-```
+## 主要文档
 
-## 测试
+- `docs/platform-architecture-requirements.md`：平台需求、功能模块、页面补全建议。
+- `docs/backend-api-design.md`：FastAPI 接口分组、参数定义、权限说明。
+- `docs/postgres-schema.sql`：PostgreSQL 数据库脚本，包含权限、用户中心、多租户、审批、审计等模型。
+- `docs/system-development-plan.md`：多人协作开发计划，按前端、后端、DB、部署拆分。
+- `docs/backend-logging.md`：后端日志模块使用说明。
+- `docs/deployment-plan.md`：后期部署方案，覆盖单机算力服务器部署与应用/算力分离部署。
 
-内置基于 Playwright 的 UI 回归脚本，首次运行前需安装浏览器：
+## 部署模式
 
-```bash
-npx playwright install chromium
-```
+平台支持两种主要部署模式：
 
-执行已注册的回归脚本：
+1. 所有服务部署在算力服务器：适合 PoC、内网试点、小团队单机多 GPU 使用。
+2. 应用服务和算力/训练服务独立部署：适合企业生产环境，应用平台部署在业务服务区，算力平台和 LLaMA-Factory 部署在 GPU 服务器。
 
-```bash
-npm run test:data-process-wizard   # 数据处理向导
-npm run test:model-manage          # 模型管理
-npm run test:training-log-layout   # 训练日志布局
-npm run test:page-surface          # 页面表层级
-```
+生产环境建议采用第二种模式。算力平台与训练框架应部署在 GPU 算力服务器上，应用平台不直接控制 GPU 进程，而是通过内部 Compute API 调度训练任务。
 
-其余脚本可直接运行：
+详细方案见 `docs/deployment-plan.md`。
 
-```bash
-node scripts/regression-back-navigation.mjs       # 返回导航
-node scripts/regression-fine-tune-create-ui.mjs   # 调优创建 UI
-```
+## 后续开发原则
 
-> 回归脚本默认连接 `http://localhost:6801`，需先启动开发服务器。
-
-## 目录结构
-
-```
-YG-FT/
-├── frontend/              # 前端工程（Vue 3 SPA）
-│   ├── src/
-│   │   ├── api/           # axios 封装 + 各业务模块 API
-│   │   ├── components/    # 公共组件
-│   │   ├── composables/   # 组合式函数
-│   │   ├── constants/     # 常量与映射表
-│   │   ├── layouts/       # 主布局
-│   │   ├── mock/          # Mock 数据与适配器
-│   │   ├── plugins/       # 第三方插件注册
-│   │   ├── router/        # 路由配置 + 登录守卫
-│   │   ├── stores/        # Pinia 状态
-│   │   ├── styles/        # 全局样式
-│   │   ├── types/         # TypeScript 类型定义
-│   │   └── views/         # 业务页面
-│   ├── scripts/           # UI 回归测试脚本
-│   ├── public/            # 静态资源
-│   └── vite.config.ts     # Vite 构建与代理配置
-├── docs/                  # 设计文档与视觉走查记录
-└── design-qa.md           # 视觉走查汇总
-```
-
-## 端口与代理
-
-| 服务 | 地址 |
-|------|------|
-| 前端开发服务器 | `http://localhost:6801` |
-| 后端 API | `http://localhost:7861` |
-
-前端统一使用 `/api` 相对路径发请求，由 Vite 开发代理转发到后端 `http://localhost:7861`（配置见 `frontend/vite.config.ts`）。
-
-## 业务模块
-
-| 模块 | 说明 |
-|------|------|
-| 登录 | 用户登录鉴权 |
-| 模型调优 | 微调任务创建与管理 |
-| 模型评测 | 评测任务与评测维度配置 |
-| 模型推理 | 在线推理对话 |
-| 模型对比 | 多模型对话与结果对比 |
-| 模型管理 | 模型 CRUD 与权重合并 |
-| 数据集 | 数据集管理与预览 |
-| 数据处理 | 数据处理任务向导 |
-| 工具 | 辅助工具集 |
-| 系统 | 硬件监控、日志、训练日志 |
+- 接口实现优先遵循 `docs/backend-api-design.md`。
+- 数据库实现优先遵循 `docs/postgres-schema.sql`，后续通过 Alembic 迁移管理变更。
+- 前端页面与后端接口、数据库表之间的映射以文档中的“对应页面/功能模块”为准。
+- 训练引擎适配必须通过 `compute/engines/` 下的标准接口，不在应用平台后端直接拼接训练命令。
+- 敏感信息不得写入日志，生产环境密钥通过环境变量或密钥管理系统注入。