first update

2025-12-18 16:16:12 +08:00
parent beb66415c9
commit 9f33e0b396
6 changed files with 2016 additions and 2 deletions
--- a/config.py
+++ b/config.py
@@ -0,0 +1,265 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+"""
+配置文件
+用于控制QA生成的各种参数
+"""
+
+from typing import List, Dict
+
+
+class QAConfig:
+    """QA生成配置类"""
+
+    def __init__(self):
+        # ========== 基础配置 ==========
+        # 随机种子（确保结果可重现）
+        self.RANDOM_SEED = 42
+
+        # 输入输出目录
+        self.INPUT_DIR = "Data_Export_Json"
+        self.OUTPUT_DIR = "Data_QA_Outputs"
+
+        # ========== 问题数量控制 ==========
+        # 每个数据项生成的基本问题数量（简单模式下）
+        self.BASIC_QUESTIONS_PER_ITEM = 1
+
+        # 每个数据项生成的最多问题数量（复杂模式下）
+        self.MAX_QUESTIONS_PER_ITEM = 10
+
+        # 多列查询问题的占比（0.0-1.0）
+        # 0.0 表示不生成多列问题，1.0 表示所有问题都是多列问题
+        self.MULTI_COLUMN_RATIO = 0.3
+
+        # ========== 复杂程度控制 ==========
+        # 复杂程度等级：1-5
+        # 1: 最简单（只有基础问答）
+        # 3: 中等（包含部分多列问答）
+        # 5: 最复杂（包含所有类型问答）
+        self.COMPLEXITY_LEVEL = 3
+
+        # ========== 问句模板配置 ==========
+        # 问句前缀模板（可根据复杂程度调整使用数量）
+        self.QUESTION_PREFIXES_SIMPLE = [
+            "请告诉我",
+            "查询",
+            "请问"
+        ]
+
+        self.QUESTION_PREFIXES_NORMAL = [
+            "请告诉我",
+            "查询",
+            "请问",
+            "在",
+            "请解释",
+            "请输出",
+            "请列举",
+            "请说明",
+            "请查找",
+            "请确认"
+        ]
+
+        # ========== 答句模板配置 ==========
+        # 答句前缀模板
+        self.ANSWER_PREFIXES_SIMPLE = [
+            "根据表记录，该字段的",
+            "查询结果显示，",
+            "经查询，该字段的"
+        ]
+
+        self.ANSWER_PREFIXES_NORMAL = [
+            "根据表记录，该字段的",
+            "查询结果显示，",
+            "经查询，该字段的",
+            "根据数据库记录，",
+            "在表中，此字段的",
+            "查询结果：",
+            "经系统查询，",
+            "根据记录显示，",
+            "在数据中，该字段的",
+            "查询得知，该字段的"
+        ]
+
+        # 答句后缀模板
+        self.ANSWER_SUFFIXES_SIMPLE = [
+            "。",
+            "。"
+        ]
+
+        self.ANSWER_SUFFIXES_NORMAL = [
+            "。",
+            "，请参考。",
+            "，详情如上。",
+            "，以上信息为准。",
+            "，望知悉。",
+            "，如需更多信息请联系。",
+            "，希望能帮到您。",
+            "，祝您工作顺利。",
+            "，谢谢。",
+            "。"
+        ]
+
+        # ========== 连接词配置 ==========
+        # 多列查询的连接词
+        self.CONNECTORS_SIMPLE = ["和", "与"]
+
+        self.CONNECTORS_NORMAL = ["和", "与", "及", "、", "，还有", "以及"]
+
+        # ========== 数据文件配置 ==========
+        # 要处理的数据文件列表
+        self.DATA_FILES = [
+            {
+                "name": "元素治理模板",
+                "file": "元素治理模板.json",
+                "output": "元素治理模板_QA.json",
+                "enabled": True
+            },
+            {
+                "name": "物理模型",
+                "file": "物理模型.json",
+                "output": "物理模型_QA.json",
+                "enabled": True
+            },
+            {
+                "name": "逻辑模型",
+                "file": "逻辑模型.json",
+                "output": "逻辑模型_QA.json",
+                "enabled": True
+            }
+        ]
+
+        # ========== 单列问题模板配置 ==========
+        # 根据复杂程度决定启用哪些模板
+        self.SINGLE_COLUMN_TEMPLATES = {
+            1: 3,  # 简单模式：只启用前3个模板
+            2: 6,  # 简单+模式：启用前6个模板
+            3: 9,  # 中等模式：启用前9个模板
+            4: 12, # 复杂模式：启用前12个模板（全部）
+            5: 12  # 最复杂模式：启用全部模板
+        }
+
+        # ========== 多列问题模板配置 ==========
+        # 根据复杂程度决定启用哪些多列模板
+        self.MULTI_COLUMN_TEMPLATES = {
+            1: 0,  # 简单模式：不生成多列问题
+            2: 1,  # 简单+模式：启用1个多列模板
+            3: 3,  # 中等模式：启用3个多列模板
+            4: 4,  # 复杂模式：启用4个多列模板
+            5: 5   # 最复杂模式：启用全部多列模板
+        }
+
+        # ========== 输出控制 ==========
+        # 是否打乱问答对顺序
+        self.SHUFFLE_OUTPUT = True
+
+        # 是否生成QA生成报告
+        self.GENERATE_REPORT = True
+
+        # 是否显示详细日志
+        self.VERBOSE_LOG = True
+
+    def get_complexity_settings(self) -> Dict:
+        """根据复杂程度等级获取相应设置"""
+        level = self.COMPLEXITY_LEVEL
+
+        if level <= 2:
+            return {
+                "question_prefixes": self.QUESTION_PREFIXES_SIMPLE,
+                "answer_prefixes": self.ANSWER_PREFIXES_SIMPLE,
+                "answer_suffixes": self.ANSWER_SUFFIXES_SIMPLE,
+                "connectors": self.CONNECTORS_SIMPLE,
+                "single_templates": self.SINGLE_COLUMN_TEMPLATES.get(level, 3),
+                "multi_templates": self.MULTI_COLUMN_TEMPLATES.get(level, 0),
+                "multi_ratio": 0.0 if level == 1 else 0.1
+            }
+        else:
+            return {
+                "question_prefixes": self.QUESTION_PREFIXES_NORMAL,
+                "answer_prefixes": self.ANSWER_PREFIXES_NORMAL,
+                "answer_suffixes": self.ANSWER_SUFFIXES_NORMAL,
+                "connectors": self.CONNECTORS_NORMAL,
+                "single_templates": self.SINGLE_COLUMN_TEMPLATES.get(level, 9),
+                "multi_templates": self.MULTI_COLUMN_TEMPLATES.get(level, 3),
+                "multi_ratio": self.MULTI_COLUMN_RATIO
+            }
+
+    def update_config(self, **kwargs):
+        """更新配置参数"""
+        for key, value in kwargs.items():
+            if hasattr(self, key):
+                setattr(self, key, value)
+                print(f"[CONFIG] 已更新 {key} = {value}")
+            else:
+                print(f"[WARNING] 未找到配置项: {key}")
+
+    def print_config(self):
+        """打印当前配置"""
+        print("\n" + "="*60)
+        print("当前QA生成配置")
+        print("="*60)
+        print(f"随机种子: {self.RANDOM_SEED}")
+        print(f"输入目录: {self.INPUT_DIR}")
+        print(f"输出目录: {self.OUTPUT_DIR}")
+        print(f"复杂程度等级: {self.COMPLEXITY_LEVEL}")
+        print(f"基本问题数量: {self.BASIC_QUESTIONS_PER_ITEM}")
+        print(f"最大问题数量: {self.MAX_QUESTIONS_PER_ITEM}")
+        print(f"多列查询占比: {self.MULTI_COLUMN_RATIO}")
+        print(f"打乱输出: {self.SHUFFLE_OUTPUT}")
+        print(f"生成报告: {self.GENERATE_REPORT}")
+        print(f"详细日志: {self.VERBOSE_LOG}")
+        print("\n启用处理的文件:")
+        for file_info in self.DATA_FILES:
+            if file_info["enabled"]:
+                print(f"  ✓ {file_info['name']} ({file_info['file']})")
+        print("="*60 + "\n")
+
+
+# 创建默认配置实例
+DEFAULT_CONFIG = QAConfig()
+
+
+def create_custom_config(**kwargs) -> QAConfig:
+    """创建自定义配置"""
+    config = QAConfig()
+    config.update_config(**kwargs)
+    return config
+
+
+# 配置预设
+SIMPLE_CONFIG = create_custom_config(
+    COMPLEXITY_LEVEL=1,
+    MULTI_COLUMN_RATIO=0.0,
+    BASIC_QUESTIONS_PER_ITEM=1,
+    MAX_QUESTIONS_PER_ITEM=3,
+    VERBOSE_LOG=False
+)
+
+NORMAL_CONFIG = create_custom_config(
+    COMPLEXITY_LEVEL=3,
+    MULTI_COLUMN_RATIO=0.3,
+    BASIC_QUESTIONS_PER_ITEM=3,
+    MAX_QUESTIONS_PER_ITEM=8
+)
+
+COMPLEX_CONFIG = create_custom_config(
+    COMPLEXITY_LEVEL=5,
+    MULTI_COLUMN_RATIO=0.5,
+    BASIC_QUESTIONS_PER_ITEM=5,
+    MAX_QUESTIONS_PER_ITEM=10
+)
+
+
+if __name__ == "__main__":
+    # 演示配置使用
+    config = QAConfig()
+    config.print_config()
+
+    settings = config.get_complexity_settings()
+    print("\n根据当前复杂程度等级的设置:")
+    print(f"问句前缀数量: {len(settings['question_prefixes'])}")
+    print(f"答句前缀数量: {len(settings['answer_prefixes'])}")
+    print(f"答句后缀数量: {len(settings['answer_suffixes'])}")
+    print(f"连接词数量: {len(settings['connectors'])}")
+    print(f"单列模板数: {settings['single_templates']}")
+    print(f"多列模板数: {settings['multi_templates']}")
+    print(f"多列占比: {settings['multi_ratio']}")