YG-Soft/YG_FT
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
233 Commits 5 Branches 1 Tag
03254f8196b91bce6bde3c556b1c282b8b408aa2
Commit Graph

16 Commits

Author SHA1 Message Date
caoxiaozhu
03254f8196 feat(data_process): 模型缓存统一仓库根 .cache 并修复 PDF 页眉页脚清理 
- 新增 app/core/cache_paths.py：HF_HOME / tiktoken 缓存统一指向 <repo>/.cache，
  本地与 Docker 路径一致，离线部署打包 .cache 即可
- Dockerfile.backend 的 tiktoken 词表改用官方 SHA 文件名，避免运行时回退重建
- 修复 layout_hybrid 路径不运行 detect_pdf_document_noise 的缺陷：
  needs_pdf_noise 不再与 needs_layout_raw 互斥，PDF 智能预处理在版面切分下也生效
- 新增 layout_noise.py：识别跨页重复的页眉表格标签组并按行剔除，
  解决 docling layout 模型把中文企业 PDF 页眉识别成普通 Table 导致清不掉的问题
- 回收 HybridChunker 丢弃的末尾孤立标题，找回章节标题内容
 2026-08-21 10:16:23 +08:00
wuyongtao
6f0e82f351 feat: 平台治理与权限体系完善，存储进度/GPU预留/审批中心与日志整合 
- 平台治理: 租户用户权限层次、资源ACL、审批中心与审批模板、访问申请
- 存储: MinIO 存储进度迁移、对象存储安全加固与测试
- 计算: GPU 资源预留、compute 轮询与同步增强
- 权限: permission v2 迁移、权限安全验收测试
- 日志: 后端运行日志中文说明、操作日志整合
- 数据处理/评测: 数据转换与模型评测优化

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-21 09:49:48 +08:00
wuyongtao
5ecca9f0bc feat: 权限与日志治理完善，MinIO 独立部署与 tiktoken 离线打包适配 
- 后端：强化平台/审批/资源/系统接口权限校验与操作日志，更新权限设计文档与测试用例
- 存储：新增 MinIO 独立部署适配（端口 19000/19001），外部端点与 host-gateway 互通
- 离线：打包 tiktoken cl100k_base 词表进镜像，避免无网环境联网下载
- 其他：算力节点接口微调，前端微调创建页小修，忽略 MinIO 运行时数据

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-12 15:21:42 +08:00
wuyongtao
75cc105ebc chore: 忽略离线部署包，提交安全加固、数据库初始化与文档 
- .gitignore: 忽略 docker/offline 离线部署包（镜像/运行时等大文件）
- 安全加固: 新增 compute/api/security.py 及各端安全测试，补充 docs/security-hardening.md
- 数据库: 新增完整初始化 SQL 与 docs/database-config.md
- 数据转换与评测: 修复类型检查、增强校验并补充测试
- Docker 配置与环境变量更新

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-08-07 09:24:35 +08:00
wuyongtao
525fc55cef fix: 修复 GPU 选择索引错误及 CUDA 不可用问题，优化 GPU 硬件单选 
- 修复 FineTuneCreateView GPU 选择使用 v-for idx 替代真实 gpu.id 导致
  多节点环境下 GPU 索引错误（如 gpu-node-02 仅 GPU 0 但请求 GPU 1）
- GPU 选择改为单选模式，已离线节点自动过滤不展示
- GPU 卡片增加节点编号展示
- 修复 CUDA_VISIBLE_DEVICES=all 无效值导致 torch.cuda.is_available() False
  改为 CUDA_VISIBLE_DEVICES=0
- .gitignore 新增 .claude/ CLAUDE.md 排除规则
- GpuInfo 类型增加 node_id/node_code/node_name 字段

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-28 12:43:20 +08:00
wuyongtao
a72e2a2520 chore: 将 frontend/dist 从版本控制中移除，补充 ElMessageBox 导入 
- 移除 .gitignore 中对 frontend/dist/ 的例外规则，构建产物不再纳入版本控制
- DataProcessDetailView.vue 补充 ElMessageBox 导入修复 TS2552 错误

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-28 12:07:57 +08:00
caoxiaozhu
d6d3d27b2d chore: 恢复 .gitignore 对 .env 文件的忽略规则 
上次合并 rebase 时远端引入的 !.env 规则会强制追踪环境文件，
存在将含敏感信息的 .env 误提交的风险。恢复为 .env 忽略规则，
同时保留 !.env.example 以便示例文件继续入库。
 2026-07-24 16:13:04 +08:00
caoxiaozhu
faad88dfcd chore: 忽略本地敏感配置与工具产物 
- backend/config.yaml 含数据库账号密码等敏感信息
- .codex-backups/、.pnpm-store/、.zcode/ 为工具产物，不应进版本库
 2026-07-24 14:36:11 +08:00
caoxiaozhu
33d0ed2e01 feat(data-process): 完善文件解析与切分存储链路 2026-07-24 14:35:03 +08:00
wuyongtao
6d4bf85284 feat: 提交 Docker 环境配置文件，更新 .gitignore 规则 
- 新增 docker/app/.env 应用环境配置
- 新增 docker/compute/.env 计算节点环境配置
- 更新 .gitignore 允许提交 .env 配置文件

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-24 10:45:10 +08:00
wuyongtao
a6868ec2e5 fix: 恢复 gitignore 全局 logs/ 规则，通过 !docker/compute/data/yg-ft/logs/ 放行 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-22 20:50:37 +08:00
wuyongtao
6cd1e46e86 feat: 添加 compute 数据目录结构，配置 gitignore 规则 
- docker/compute/data/yg-ft/ 下创建 models、datasets、outputs、logs 目录
- 保留目录结构和 README，忽略子目录实际内容（日志、模型、数据集等）
- 修正 gitignore 全局 logs/ 规则为 /logs/，避免误伤

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-22 20:47:05 +08:00
wuyongtao
836343b29e feat: 新增 compute_gateway、compute_poller、agent 模块，重构前端 dist 
- 新增 backend/app/modules/compute_gateway（client/sync）计算网关模块
- 新增 backend/app/workers/compute_poller 计算轮询 worker
- 新增 compute/agent/process_manager 进程管理器
- 新增 scripts/ 脚本目录
- 更新 Docker 部署配置（app/compute/nginx）
- 更新后端平台 API、数据库 SQL、core 配置
- 更新前端多个视图组件及 API 模块
- 重构 frontend/dist 构建产物（新 hash）
- 更新多项文档

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-22 20:26:16 +08:00
wuyongtao
e18a367abb feat: 添加前端构建产物 frontend/dist，更新 gitignore 规则 
Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 11:11:04 +08:00
wuyongtao
a67ca2c19c feat: 添加平台管理、计算模块适配器及前端页面更新 
- 新增 platform API 端点和存储
- 新增 llama_factory 适配器
- 新增前端 compute、guide、system 等视图页面
- 新增 echarts 插件和 mock 数据
- 更新 Docker 配置、后端配置及文档
- 更新前端路由、API、侧边栏等组件

Co-Authored-By: Claude <noreply@anthropic.com>
 2026-07-21 09:23:43 +08:00
caoxiaozhu
ecb138ed25 Initial commit 2026-07-10 15:59:25 +08:00