backend/app/modules/data_process/__init__.py

"""数据处理模块：从原始文件接入到生成标准训练数据的全流程。

整体分层
--------
- ``algorithms/``  纯算法层（无副作用：不访问 DB / 文件系统 / 网络）。
                  解析、格式检测、质量评分、去重、数据集切分、结构化预处理。
                  API、后台任务与测试共同复用。
- ``store/``       持久层（PostgreSQL）。按 Mixin 拆分：
                  tasks / source_files / preview / generation / results / datasets。
                  构造时不连库、不迁移；部署方须显式执行 002 迁移（见 schema_cli）。
- 其余顶层文件    围绕上述两层的“服务 / 适配器”模块，由 endpoints 编排。

顶层模块速查
------------
constants.py          共享常量（MAX_QA_PAIRS_PER_ITEM、MODEL_GENERATION_BATCH_SIZE）。
storage.py            原始源文件的本地对象存储（受控暂存于 storage/data-process）。
office_preview.py     Word/Excel 原文件的安全受限预览（仅返回绘制所需的结构化数据）。
document_chunking.py  基于 Docling / LlamaIndex 的文档切分。
dataset_format.py     Alpaca/ShareGPT/DPO/CPT 数据集格式校验（训练提交前预检）。
generation.py         大模型生成适配器，把预览内容转为标准 instruction/output 记录。
schema_cli.py         data_process 运行表的显式检查 / 安装命令（运维工具，应用启动不自动调用）。

调用关系
--------
``app/api/v1/endpoints/data_process.py`` 是编排入口，组合调用以上模块与两个子包；
``dataset_format.py`` 另被 ``db/platform_store.py`` 用于训练预检。

典型链路
--------
上传源文件 → storage 暂存 → algorithms.parse_text_content 解析
        → office_preview / document_chunking 处理 → store 落库预览
        → generation 调模型生成 → store 写 results → dataset_format 校验后发布。

导入约定
--------
为避免循环导入，本 ``__init__`` 不统一再导出；请按需从子模块直接导入：

    from app.modules.data_process.store import DataProcessStore
    from app.modules.data_process.algorithms import estimate_token_count
    from app.modules.data_process.generation import generate_model_records
"""

# 注意：为了避免循环导入，不在此处导入所有内容
# 请直接从子模块导入所需功能

__all__ = ["store", "algorithms"]
-												docs(data_process): 在 __init__ 补充模块职责速查与分层说明

											
										
										
											2026-08-12 14:46:56 +08:00
+								"""数据处理模块：从原始文件接入到生成标准训练数据的全流程。
-												refactor: 完整重构 data_process 模块并修复拆分遗留缺陷

将 algorithms.py / store.py 拆分为 algorithms/ 与 store/ 子包，并修复
机械拆分造成的导入与辅助函数缺失：

- algorithms/: 补全各子模块依赖与 17 个私有辅助函数、8 个常量；重写
  __init__.py 移除坏的 importlib 兜底，分层导入并以局部 import 断开
  text_utils<->parsers、quality<->structured_processing 循环依赖。
- store/: 补回 DataProcessStoreError / hashlib / _serialize_value /
  estimate_token_count 等缺失导入，包入口导出测试与调用方依赖的私有
  辅助函数。
- 删除旧单文件 algorithms.py / store.py 及重构残留（_algorithms_old、
  backups、refactor 脚本、REFACTORING 文档）。

algorithms 与 store 测试套件 91 项全部通过。

											
										
										
											2026-08-12 14:25:37 +08:00
-												docs(data_process): 在 __init__ 补充模块职责速查与分层说明

											
										
										
											2026-08-12 14:46:56 +08:00
+								整体分层
 								--------
 								- ``algorithms/``  纯算法层（无副作用：不访问 DB / 文件系统 / 网络）。
 								                  解析、格式检测、质量评分、去重、数据集切分、结构化预处理。
 								                  API、后台任务与测试共同复用。
 								- ``store/``       持久层（PostgreSQL）。按 Mixin 拆分：
 								                  tasks / source_files / preview / generation / results / datasets。
 								                  构造时不连库、不迁移；部署方须显式执行 002 迁移（见 schema_cli）。
 								- 其余顶层文件    围绕上述两层的“服务 / 适配器”模块，由 endpoints 编排。
-												refactor: 完整重构 data_process 模块并修复拆分遗留缺陷

将 algorithms.py / store.py 拆分为 algorithms/ 与 store/ 子包，并修复
机械拆分造成的导入与辅助函数缺失：

- algorithms/: 补全各子模块依赖与 17 个私有辅助函数、8 个常量；重写
  __init__.py 移除坏的 importlib 兜底，分层导入并以局部 import 断开
  text_utils<->parsers、quality<->structured_processing 循环依赖。
- store/: 补回 DataProcessStoreError / hashlib / _serialize_value /
  estimate_token_count 等缺失导入，包入口导出测试与调用方依赖的私有
  辅助函数。
- 删除旧单文件 algorithms.py / store.py 及重构残留（_algorithms_old、
  backups、refactor 脚本、REFACTORING 文档）。

algorithms 与 store 测试套件 91 项全部通过。

											
										
										
											2026-08-12 14:25:37 +08:00
-												docs(data_process): 在 __init__ 补充模块职责速查与分层说明

											
										
										
											2026-08-12 14:46:56 +08:00
+								顶层模块速查
 								------------
 								constants.py          共享常量（MAX_QA_PAIRS_PER_ITEM、MODEL_GENERATION_BATCH_SIZE）。
 								storage.py            原始源文件的本地对象存储（受控暂存于 storage/data-process）。
 								office_preview.py     Word/Excel 原文件的安全受限预览（仅返回绘制所需的结构化数据）。
 								document_chunking.py  基于 Docling / LlamaIndex 的文档切分。
 								dataset_format.py     Alpaca/ShareGPT/DPO/CPT 数据集格式校验（训练提交前预检）。
 								generation.py         大模型生成适配器，把预览内容转为标准 instruction/output 记录。
 								schema_cli.py         data_process 运行表的显式检查 / 安装命令（运维工具，应用启动不自动调用）。
 								调用关系
 								--------
 								``app/api/v1/endpoints/data_process.py`` 是编排入口，组合调用以上模块与两个子包；
 								``dataset_format.py`` 另被 ``db/platform_store.py`` 用于训练预检。
 								典型链路
 								--------
 								上传源文件 → storage 暂存 → algorithms.parse_text_content 解析
 								        → office_preview / document_chunking 处理 → store 落库预览
 								        → generation 调模型生成 → store 写 results → dataset_format 校验后发布。
 								导入约定
 								--------
 								为避免循环导入，本 ``__init__`` 不统一再导出；请按需从子模块直接导入：
-												refactor: 完整重构 data_process 模块并修复拆分遗留缺陷

将 algorithms.py / store.py 拆分为 algorithms/ 与 store/ 子包，并修复
机械拆分造成的导入与辅助函数缺失：

- algorithms/: 补全各子模块依赖与 17 个私有辅助函数、8 个常量；重写
  __init__.py 移除坏的 importlib 兜底，分层导入并以局部 import 断开
  text_utils<->parsers、quality<->structured_processing 循环依赖。
- store/: 补回 DataProcessStoreError / hashlib / _serialize_value /
  estimate_token_count 等缺失导入，包入口导出测试与调用方依赖的私有
  辅助函数。
- 删除旧单文件 algorithms.py / store.py 及重构残留（_algorithms_old、
  backups、refactor 脚本、REFACTORING 文档）。

algorithms 与 store 测试套件 91 项全部通过。

											
										
										
											2026-08-12 14:25:37 +08:00
 								    from app.modules.data_process.store import DataProcessStore
 								    from app.modules.data_process.algorithms import estimate_token_count
-												docs(data_process): 在 __init__ 补充模块职责速查与分层说明

											
										
										
											2026-08-12 14:46:56 +08:00
+								    from app.modules.data_process.generation import generate_model_records
-												refactor: 完整重构 data_process 模块并修复拆分遗留缺陷

将 algorithms.py / store.py 拆分为 algorithms/ 与 store/ 子包，并修复
机械拆分造成的导入与辅助函数缺失：

- algorithms/: 补全各子模块依赖与 17 个私有辅助函数、8 个常量；重写
  __init__.py 移除坏的 importlib 兜底，分层导入并以局部 import 断开
  text_utils<->parsers、quality<->structured_processing 循环依赖。
- store/: 补回 DataProcessStoreError / hashlib / _serialize_value /
  estimate_token_count 等缺失导入，包入口导出测试与调用方依赖的私有
  辅助函数。
- 删除旧单文件 algorithms.py / store.py 及重构残留（_algorithms_old、
  backups、refactor 脚本、REFACTORING 文档）。

algorithms 与 store 测试套件 91 项全部通过。

											
										
										
											2026-08-12 14:25:37 +08:00
+								"""
 								# 注意：为了避免循环导入，不在此处导入所有内容
 								# 请直接从子模块导入所需功能
 								__all__ = ["store", "algorithms"]