3 Commits

Author	SHA1	Message	Date
caoxiaozhu	2f48934e66	fix(data_process): 修复 tiktoken 加载器的变量作用域错误 ... 函数内部的 import tiktoken.core 会把 tiktoken 变成局部变量，导致 tiktoken.get_encoding 在联网下载前就抛 UnboundLocalError，被 except 吞掉后联网与本地缓存两条路径全部失效。移除该内部 import（模块顶部 已引入 tiktoken），切分测试全部通过，编码器成功下载并缓存到 ~/.cache/tiktoken，此后离线环境也可正常加载。	2026-08-18 15:49:00 +08:00
caoxiaozhu	5f6e7523cf	feat: 新增外部数据源拉取与 DPO 输出格式支持 ... - 支持从 PostgreSQL 数据库拉取结构化数据作为训练来源 - 新增 DPO (Direct Preference Optimization) 输出类型 - 支持 chosen/rejected 字段的编辑、校验和发布 - 完善数据预处理切分逻辑和元数据管理 - 移除 OCR 扫描 PDF 功能，保持基础文本解析能力 Co-Authored-By: Claude <noreply@anthropic.com>	2026-08-11 14:17:45 +08:00
caoxiaozhu	ea08478a37	feat(data-process): 接入三种文档切分引擎	2026-07-25 18:00:21 +08:00