YG-Soft/YG-Datasets
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
25 Commits 1 Branch 0 Tags
a280b4f014885d603df5c88a7da2730b627faa00
Commit Graph

13 Commits

Author SHA1 Message Date
Developer
a280b4f014 feat(backend): 文件处理和语义分割 API 更新 
- chunks API: 支持语义分割模式和 embedding 配置
- files API: 文件异步处理优化

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-19 10:11:59 +08:00
Developer
cc2e73c595 feat(backend): 更新 API 支持语义分割和 embedding 配置 
- chunks API 添加 embedding 配置字段
- projects API 更新路由和方法

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-18 16:08:08 +08:00
Developer
da2887d913 feat(backend): 添加语义嵌入文本分割功能 
- 新增 semantic_embedding.py 模块，基于 embedding 相似度进行语义分割
- 集成到 splitter.py 的 get_splitter 工厂函数
- 支持配置 embedding 模型和相似度阈值

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-18 16:08:04 +08:00
Developer
1cf44ac6f7 fix(backend): 修复文件上传后异步处理失败问题 
- 修复 async_session_maker 未定义错误，改用 AsyncSessionLocal
- 确保文件上传后能正确异步转换为 Markdown

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-18 16:08:00 +08:00
Developer
a1342b7634 feat: 完善前端功能，添加爬虫页面和项目分页 
- 新增 CrawlerView 爬虫页面
- 完善 HomeView 分页展示（9个/页）
- 更新 ProjectCard 组件图标
- 优化 API 客户端和类型定义
- 重构样式文件结构到独立目录

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-18 10:45:32 +08:00
Developer
68453cead8 feat(backend): 完善日志系统，支持按日期分目录存储 
- 实现 logs/YYYY-MM-DD/ 日期文件夹结构
- 添加 success.log 和 failure.log 专用日志
- 使用 TimedRotatingFileHandler 实现按天切割
- 添加 log_success 和 log_failure 便捷函数
- 集成 markitdown 进行文件转换
- 优化文件存储路径，按项目ID分类存储

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-18 10:44:09 +08:00
Developer
7514e7e763 feat: 完善模型管理功能 
- 新增模型 API 路由，支持 CRUD 和测试连接
- 支持 MiniMax、GLM、OpenAI Compatible 三种供应商
- 添加连接状态持久化 (untested/connected/disconnected)
- 修复 CORS 和数据库模型兼容性问题
- 前端 UI 优化：供应商默认 API 地址自动填充

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-17 23:02:43 +08:00
Developer
47d1da7cea feat(backend): 更新核心模块和文件处理 
- 更新配置模块 (config.py)
- 更新数据库连接 (database.py)
- 更新主应用入口 (main.py)
- 更新数据模型 (models.py)
- 更新基础 Schema (base.py)
- 更新文件处理器 (docx, excel, pdf)
- 更新 Dockerfile

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-17 17:30:11 +08:00
Developer
db11429290 feat(backend): 更新 API 端点实现 
- 更新 Chunks API 端点
- 更新 Datasets API 端点
- 更新 Evaluation API 端点
- 更新 Files API 端点
- 更新 Projects API 端点
- 更新 Questions API 端点

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-17 17:29:58 +08:00
Developer
e6aa585e06 chore: 添加项目配置文件 
- 添加 Python 项目配置 (pyproject.toml)
- 添加环境变量示例 (.env.example)
- 添加 Docker 忽略文件 (.dockerignore)
- 添加 TypeScript 配置 (tsconfig.json, tsconfig.node.json)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-17 17:29:24 +08:00
Developer
3eb5d47bd3 feat(backend): 添加 API Schemas 定义 
- 添加 Chunk 数据结构 (chunk.py)
- 添加 Dataset Schema (dataset.py)
- 添加 Evaluation Schema (eval.py)
- 添加 File Schema (file.py)
- 添加 Project Schema (project.py)
- 添加 Question Schema (question.py)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-17 17:28:47 +08:00
Developer
efe5d240ae feat(backend): 添加核心架构模块 
- 添加认证模块 (auth.py)
- 添加 CRUD 基础操作 (crud.py)
- 添加异常处理 (exceptions.py)
- 添加日志模块 (logging.py)
- 添加响应格式 (response.py)
- 添加依赖注入 (dependencies.py)

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-03-17 17:28:36 +08:00
DESKTOP-72TV0V4\caoxiaozhu
4eddf05e79 first-update 2026-03-17 14:36:31 +08:00