caoxiaozhu
|
03254f8196
|
feat(data_process): 模型缓存统一仓库根 .cache 并修复 PDF 页眉页脚清理
- 新增 app/core/cache_paths.py：HF_HOME / tiktoken 缓存统一指向 <repo>/.cache，
本地与 Docker 路径一致，离线部署打包 .cache 即可
- Dockerfile.backend 的 tiktoken 词表改用官方 SHA 文件名，避免运行时回退重建
- 修复 layout_hybrid 路径不运行 detect_pdf_document_noise 的缺陷：
needs_pdf_noise 不再与 needs_layout_raw 互斥，PDF 智能预处理在版面切分下也生效
- 新增 layout_noise.py：识别跨页重复的页眉表格标签组并按行剔除，
解决 docling layout 模型把中文企业 PDF 页眉识别成普通 Table 导致清不掉的问题
- 回收 HybridChunker 丢弃的末尾孤立标题，找回章节标题内容
|
2026-08-21 10:16:23 +08:00 |
|
wuyongtao
|
b5d2cd7935
|
feat: 新增 MinIO 对象存储与算力节点缓存预下载
- 后端新增 storage 模块（minio_store），支持 MinIO 预签名 URL 上传与对象管理
- config 新增 MinIO 及存储等待相关配置项
- 算力节点新增 /compute/cache/prepare 缓存预下载接口（带校验和原子落盘）
- 算力节点健康接口增加存储可用性探针
- SQL 迁移补充资源存储相关表结构
- Docker 新增 minio 服务与后端 minio 配置
- 补充 minio-compute-cache-plan 设计文档
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-11 16:25:18 +08:00 |
|
caoxiaozhu
|
5f6e7523cf
|
feat: 新增外部数据源拉取与 DPO 输出格式支持
- 支持从 PostgreSQL 数据库拉取结构化数据作为训练来源
- 新增 DPO (Direct Preference Optimization) 输出类型
- 支持 chosen/rejected 字段的编辑、校验和发布
- 完善数据预处理切分逻辑和元数据管理
- 移除 OCR 扫描 PDF 功能，保持基础文本解析能力
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-08-11 14:17:45 +08:00 |
|
wuyongtao
|
cc08b164d0
|
fix: 前端表格行类型断言修复并补充 psycopg-pool 依赖
- 审批/项目/租户/用户设置等视图新增 asXxx 类型断言辅助函数
- search-fields 由字符串改为数组传参
- backend 依赖新增 psycopg-pool，Dockerfile 依赖校验同步更新
|
2026-08-03 11:02:41 +08:00 |
|
wuyongtao
|
1e438164c1
|
fix: 更新 Dockerfile.backend 配置
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-21 12:45:47 +08:00 |
|
wuyongtao
|
284995d79c
|
chore: 更新 Docker 部署配置及文档
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-21 11:36:43 +08:00 |
|
wuyongtao
|
a67ca2c19c
|
feat: 添加平台管理、计算模块适配器及前端页面更新
- 新增 platform API 端点和存储
- 新增 llama_factory 适配器
- 新增前端 compute、guide、system 等视图页面
- 新增 echarts 插件和 mock 数据
- 更新 Docker 配置、后端配置及文档
- 更新前端路由、API、侧边栏等组件
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-21 09:23:43 +08:00 |
|
wuyongtao
|
2c1e08a271
|
feat: 重构 Docker 配置结构，添加 compute 模块及新增文档
- 将 Dockerfile 和 docker-compose.yml 迁移至 docker/ 目录下统一管理
- 新增 compute 计算模块（API 入口、依赖配置）
- 新增 docker/app 和 docker/compute 部署配置
- 新增 demo-development-plan.md 演示开发计划文档
- 更新后端 API 设计、部署计划、架构需求等文档
- 更新 postgres 数据库 schema
Co-Authored-By: Claude <noreply@anthropic.com>
|
2026-07-20 14:59:31 +08:00 |
|