caoxiaozhu 2f48934e66 fix(data_process): 修复 tiktoken 加载器的变量作用域错误 ...

函数内部的 import tiktoken.core 会把 tiktoken 变成局部变量，导致
tiktoken.get_encoding 在联网下载前就抛 UnboundLocalError，被 except
吞掉后联网与本地缓存两条路径全部失效。移除该内部 import（模块顶部
已引入 tiktoken），切分测试全部通过，编码器成功下载并缓存到
~/.cache/tiktoken，此后离线环境也可正常加载。

2026-08-18 15:49:00 +08:00

..

algorithms

refactor: 完整重构 data_process 模块并修复拆分遗留缺陷

2026-08-12 14:29:39 +08:00

store

feat: 数据集下载鉴权、MinIO 发布与数据库兼容增强

2026-08-18 14:45:16 +08:00

__init__.py

docs(data_process): 在 __init__ 补充模块职责速查与分层说明

2026-08-12 14:46:56 +08:00

constants.py

feat(data-process): 支持单项生成五十条数据

2026-07-27 09:11:51 +08:00

dataset_format.py

chore: 忽略离线部署包，提交安全加固、数据库初始化与文档

2026-08-07 09:24:35 +08:00

document_chunking.py

fix(data_process): 修复 tiktoken 加载器的变量作用域错误

2026-08-18 15:49:00 +08:00

generation.py

feat: 新增外部数据源拉取与 DPO 输出格式支持

2026-08-11 14:17:45 +08:00

office_preview.py

feat(data-process): 增加 Office 原文件预览接口

2026-07-27 16:12:50 +08:00

schema_cli.py

feat(data-process): 完善后台生成与失败重试

2026-07-28 10:56:05 +08:00

storage.py

feat: 数据集下载鉴权、MinIO 发布与数据库兼容增强

2026-08-18 14:45:16 +08:00