test(flywheel): 补 few-shot 飞轮单测并沉淀开发文档

- embedding_provider:GLM/Ollama 分支、维度缓存、HTTP 错误降级
- few_shot_ingestion:confirmed/false_positive 入库、ignored 跳过、幂等去重、
  create_feedback hook 触发、feature flag、吞异常
- few_shot_retrieval:去重、token 预算、超长截断;prompt 注入合并 examples + 向后兼容
- 容器内新增测试 20 passed;回归测试 35 passed(RAG/risk_observations/rule_generation)
- 沉淀 document/development/2026-07-03/feature/ai-data-flywheel 概念文档与 TODO,
  飞轮 1 已勾选证据,飞轮 2-6 待后续迭代
This commit is contained in:
caoxiaozhu
2026-07-03 13:56:21 +08:00
parent 3a9d154783
commit 52d57c3be7
5 changed files with 725 additions and 0 deletions

View File

@@ -0,0 +1,190 @@
# AI 数据飞轮 概念文档
更新时间2026-07-03
文档路径document/development/2026-07-03/feature/ai-data-flywheel/CONCEPT.md
## 功能一句话
把用户反馈、人工修正、风险样本、评测结果自动沉淀并回流到下一次 LLM 推理与规则生成,让费控系统在不停机的情况下持续提升准确率、降低误报率和人工干预率。
## 背景与问题
- 当前现状:项目已具备"聪明"的骨架——RAG`knowledge_rag_runtime.py` + Qdrant、风险规则自动生成`risk_rule_generation*.py`)、反馈样本沉淀(`skills/domain/false-positive-sample-accumulator` 等 3 个 accumulator、规则回放评测`risk-algorithm-replay-evaluator`)、行为画像(`employee_behavior_profile*`)、用户反馈表(`agent_feedback.py` + `AgentOperationFeedback`)。
- 用户痛点:样本在往 accumulator 池子里堆,但**下一次 LLM 推理时并没有把这些样本检索出来当 few-shot 喂进去**prompt 散落在各 `*_prompt.py`,没有版本号、没有在线 A/B、没有回归门禁OCR 抽取的人工修正值没有回流成评测/训练数据;低分反馈只汇总不归因。
- 业务影响:系统每次推理都从"初始水平"出发,无法把历史踩过的坑转化成下一次的能力;改 prompt / 改规则无法证明是否变好,存在隐性回归风险;运营和算法同事看不到"系统在进步"的证据。
- 为什么现在需要做:飞轮骨架已齐,缺的是把"样本池 → 检索注入 + 评测门禁 → prompt/规则版本"这段断开的箭头接上。补上后整张图就转起来,且改动集中在 prompt 构造层 + 新增 eval 目录,不动业务主链路,风险低。
## 目标与非目标
### 目标
- [G1] few-shot 在线检索注入:推理前从样本池按 case 特征做向量检索,取 top-k 历史样本(含人工结论)拼进 system prompt。
- [G2] 黄金评测集 + 自动回归门禁:版本化 golden setprompt/规则变更后在 golden set 上自动跑分,分数不达标禁止发布。
- [G3] Prompt 版本化 + Canary A/Bprompt 进表带版本号,支持 stable / canary 流量切分,反馈分数对比。
- [G4] 抽取修正回流:附件/明细字段的人工修正值记录为 diff沉淀为抽取评测集与 few-shot 样本。
- [G5] 低分反馈自动归因:低分反馈触发归因 agent拉 trace 诊断错误环节并生成改进任务。
- [G6] AI 智商看板:每周自动跑 golden set输出准确率/召回率/误报率/人工干预率随时间的曲线。
### 非目标
- [NG1] 本轮不做模型微调 / 自训练:只走 prompt 侧的 in-context learning + 规则学习。
- [NG2] 本轮不改变现有业务主链路(申请单、报销、审批)的接口契约。
- [NG3] 本轮不替换 Qdrant / LightRAG 底座,复用现有向量存储与 embedding 配置。
- [NG4] 政策新鲜度检测(外部政策变更 → 自动重生成规则)后续再评估,本轮只在评测门禁侧预留接口。
## 用户与场景
- 目标用户:
1. 报销人 / 申请人:感知到系统越来越准,少打回、少补件。
2. 财务审批人:误报率下降,审批被打断的次数减少。
3. 算法/运营同学:能看到智商曲线、能灰度上线 prompt、能跑回归评测。
- 使用入口:
- 推理时自动注入 few-shot对用户透明
- 后台 Canary 控制台(运营切流量、看分数)。
- AI 智商看板(周报 / 在线查询)。
- 核心场景:
1. 用户提交报销 → 系统预审 → 预审 prompt 自动注入相似历史误报样本 → 给出更准结论。
2. 算法同学改了 risk rule 生成 prompt → 发布前自动跑 golden set → 不达标被门禁拦下。
3. 用户给低分 → 归因 agent 诊断"是检索没召回 / 规则误判 / 回复格式问题"→ 自动建改进任务并回写样本池。
4. 审批人改了 OCR 抽错的金额 → diff 自动沉淀 → 下次同类票据抽取 prompt 多一条 few-shot。
- 异常场景:
- 样本池为空或检索失败 → 退化为无 few-shot 推理,不阻塞主链路。
- 评测门禁服务不可用 → 默认放行 stablecanary 自动暂停。
- Canary 候选 prompt 分数劣化 → 自动回滚到 stable。
## 功能能力
- [C1] 输入能力:消费 accumulator 样本池、`AgentOperationFeedback`、附件修正 diff、trace 数据作为飞轮原料。
- [C2] 处理能力:样本检索(向量 + 元数据过滤)、评测打分(准确率/召回率/误报率/F1、Canary 流量切分、低分归因。
- [C3] 输出能力few-shot 注入后的 messages、评测报告、智商曲线、改进任务、归因结论。
- [C4] 状态与权限:样本带"人工已确认"标签才进可注入集合prompt 版本有 stable/canary/pinned 状态;评测门禁可由运营关闭(审计可见)。
- [C5] 边界与降级检索失败、评测失败、Canary 失败均降级到 stable不阻塞业务推理。
## 方案设计
### 前端
- 页面/组件:
- AI 智商看板(新页面,复用 `finance-report` 看板骨架):准确率/召回率/误报率/人工干预率随时间曲线 + golden set 覆盖度。
- Canary 控制台(并入 `SettingsView` / `PoliciesView`):列出各场景 prompt 版本、流量比例、当前分数、一键回滚。
- 交互状态:加载/空态(样本不足)/错误态(评测失败)/权限态(仅算法运营)。
- 展示规则:曲线按场景(差旅/报销/预算分面Canary 显示置信区间,差异不显著时标注。
- 降级处理:看板数据不可用时提示"数据生成中",不报错。
### 后端
- 接口/服务(新增,按职责拆分,单文件 ≤ 800 行):
- `services/few_shot_retrieval.py`:样本检索器,复用 Qdrant输入 case 特征 → 输出 top-k 样本(带人工结论)。
- `services/prompt_registry.py`prompt 版本注册中心,按场景 + 策略latest/canary/pinned取 prompt。
- `services/eval_harness.py`:在 golden set 上跑评测,输出指标;被发布门禁和智商看板共用。
- `services/feedback_attribution.py`:低分归因 agent复用 `AgentTraceCenter` 数据。
- `services/extraction_correction_recorder.py`:记录 OCR 抽取字段的人工修正 diff。
- 改造点(在现有 prompt 构造文件加 inject 钩子,不改业务接口):
- `risk_rule_generation_prompt.py``user_agent_application.py``expense_claim_pre_review.py``document_intelligence_rules.py``ontology_extraction.py` 的 prompt 构造处。
- 权限与校验Canary 控制台仅算法/运营角色;门禁关闭需审计日志。
- 持久化新表Alembic 迁移):
- `prompt_version`id / scene / content / version / status(stable/canary/pinned) / eval_score / created_by / created_at。
- `golden_set`id / scene / case_payload / expected / source(accumulator/manual) / confirmed / version。
- `extraction_correction`id / attachment_id / field / raw_value / corrected_value / operator / created_at。
- `eval_run`id / prompt_version_id / scene / metrics_json / started_at / finished_at。
- 降级处理:所有飞轮组件故障均降级到无 few-shot + stable prompt主链路不阻塞。
### 算法与规则
- 输入case 特征向量(场景标签 + 文本摘要 + 关键字段、golden set、反馈样本、修正 diff。
- 流程:
1. 推理前:`few_shot_retrieval` 检索 top-k → 拼 system prompt。
2. 推理后:结果 + 反馈写入 accumulator。
3. 发布前:`eval_harness` 在 golden set 上跑分 → 门禁判定。
4. 低分触发:`feedback_attribution` 归因 → 改进任务回写样本池。
- 输出few-shot 样本块、评测指标、归因结论、智商曲线数据点。
- 解释few-shot 注入在 prompt 中保留"参考案例(历史已确认)"段落,可追溯;评测报告附错误 case 列表;归因输出错误环节标签 + 证据 trace 片段。
### 数据与契约
- 核心字段scene、case_signature、few_shot_samples、metrics(acc/recall/fpr/f1)、prompt_version_id、status。
- 状态枚举:
- prompt: `stable` / `canary` / `pinned` / `archived`
- golden case: `draft` / `confirmed` / `deprecated`
- eval: `pass` / `fail` / `blocked`
- 兼容策略prompt_registry 找不到版本时回退到当前硬编码 prompt保证向后兼容
- 版本/审计:每次 prompt / 规则 / golden set 变更记 `eval_run`,可回放历史。
## 算法与公式
### few-shot 检索排序
```text
score(sample, case) = α * sim(emb(sample), emb(case)) + β * match(meta(sample), meta(case))
```
变量说明:
- score样本与当前 case 的综合相似度。
- sim余弦相似度复用 Qdrant 现有 embedding。
- match元数据硬匹配得分场景同 / 域同 / 级别同),取 0 或 1。
- α、β:权重,默认 α=0.8、β=0.2,可在 prompt_registry 中按场景覆盖。
- 适用边界:仅取 `confirmed=true` 的样本top-k 默认 k=3按 token 预算动态裁剪。
### 评测指标
```text
precision = TP / (TP + FP)
recall = TP / (TP + FN)
f1 = 2 * precision * recall / (precision + recall)
```
变量说明:
- TP/FP/FN在 golden set 上推理结论与 expected 比对得出(结论为风险标记/字段值/分类标签三类场景各有比对器)。
- 发布门禁默认阈值recall ≥ 上一版 stable 的 recall 且 f1 不下降超过 2 个百分点,否则 `fail`
## 测试方案
后端:
- `few_shot_retrieval` 单测:样本池空 / 检索失败 / top-k 截断 / 仅取 confirmed 样本。
- `eval_harness` 单测golden set 跑分指标正确性、门禁通过/拦截逻辑、空 golden set 降级。
- `prompt_registry` 单测按策略取版本、回退到硬编码、Canary 流量切分比例。
- `feedback_attribution` 单测mock trace 数据,归因标签正确性。
前端:
- AI 智商看板视图模型:空态、加载态、错误态、曲线渲染。
- Canary 控制台:列表、切流量、回滚交互。
集成:
- 端到端:构造一份 golden set → 改 prompt → 发布被门禁拦截 / 通过 → 智商看板出现新数据点。
- 容器内运行:`docker exec -w /app -e SERVER_VENV_DIR=/tmp/x-financial-server-venv local-x-financial-linux /tmp/x-financial-server-venv/bin/pytest -q server/tests/...`,超时 60s。
手工验证:
- 在 AI 工作台触发一次预审,确认 prompt 中出现 few-shot 块。
- 在 Canary 控制台发布一版劣化 prompt确认被门禁拦下。
## 指标与验收
- [A1] 功能验收:推理时 prompt 中可见 few-shot 块,且样本来自 confirmed 池。
- [A2] 性能指标few-shot 检索 ≤ 200msP95不显著拖慢主链路eval 单场景 ≤ 60s。
- [A3] 质量指标golden set 覆盖至少 5 个核心场景;门禁能正确拦截劣化 prompt。
- [A4] 安全/权限指标Canary 控制台仅算法/运营可操作;门禁关闭记审计日志。
- [A5] 可观测性AI 智商看板按周生成曲线;每次 eval_run 可回放。
## 风险与开放问题
- 风险:
- few-shot 注入增加 prompt 长度,可能触发 token 上限或拖慢推理 → 用 token 预算裁剪 + P95 监控兜底。
- 样本池噪音(错误标注)污染推理 → 只取 confirmed 样本 + 评测门禁把关。
- 评测 golden set 与线上分布漂移 → 季度复审 golden set标注漂移度。
- 已处理依赖:复用 Qdrant / LightRAG / accumulator / AgentTraceCenter / risk_rule_generation 现有能力。
- 待确认:
- Canary 流量切分的具体比例(建议 90/10需与业务确认。
- 智商看板放哪个一级菜单Settings 还是独立"AI 运营"菜单)。
- 政策新鲜度检测是否本轮接入。
- 降级策略:任何飞轮组件故障 → 无 few-shot + stable prompt + 跳过门禁(仅 stable保证业务连续。
## 本轮实现记录
- 2026-07-03完成数据飞轮概念文档与开发 TODO 拆分,作为后续改造的总纲。

View File

@@ -0,0 +1,98 @@
# AI 数据飞轮 开发 TODO
更新时间2026-07-03
文档路径document/development/2026-07-03/feature/ai-data-flywheel/TODO.md
## 使用规则
- 每个 TODO 必须对应 `CONCEPT.md` 中的目标、能力、方案或验收点。
- 只有完成并验证后,才能把 `[ ]` 改成 `[x]`
- 勾选时在任务后补充简短证据,例如文件、接口、命令或验证结果。
- 如果需求发生变化,先更新 `CONCEPT.md`,再调整本 TODO。
- 实施顺序建议:阶段 1 → 2 → 3飞轮 1+2 是地基)→ 4/5/6 并行 → 7。
## 1. 调研与边界
- [x] [CONCEPT: 背景与问题] 盘点现有 accumulator / feedback / RAG / 规则生成能力,确认飞轮骨架已存在、断点在"检索注入 + 评测门禁"。
证据:`server/src/app/skills/domain/{false-positive-sample-accumulator,risk-feedback-sample-accumulator,risk-clue-collector}``services/agent_feedback.py``services/knowledge_rag_runtime.py``services/risk_rule_generation*.py`
- [x] [CONCEPT: 目标与非目标] 确认本轮范围 = 飞轮 1-6few-shot 注入 / golden set 门禁 / prompt 版本化 / 抽取修正回流 / 低分归因 / 智商看板),不做模型微调、不改业务接口契约。
证据CONCEPT.md「目标与非目标」章节。
- [ ] [CONCEPT: 风险与开放问题] 与业务确认 Canary 流量比例、智商看板菜单位置、政策新鲜度检测是否本轮接入。
证据:
## 2. 契约与设计
- [ ] [CONCEPT: 功能能力] 定义 4 张新表的字段、状态枚举prompt stable/canary/pinned/archived、golden draft/confirmed/deprecated、eval pass/fail/blocked、correction
证据:
- [ ] [CONCEPT: 方案设计] 明确 5 个新 service 的职责边界与 inject 钩子点risk_rule_generation_prompt / user_agent_application / expense_claim_pre_review / document_intelligence_rules / ontology_extraction
证据:
- [ ] [CONCEPT: 算法与公式] 确认 few-shot 检索排序公式权重(默认 α=0.8 β=0.2与门禁阈值recall 不降、f1 下降 ≤ 2pp
证据:
- [ ] [CONCEPT: 指标与验收] 把验收点 A1-A5 转成可验证检查项,附命令与期望结果。
证据:
## 3. 后端实现
- [x] [CONCEPT: 后端] 新增 `services/few_shot_retrieval.py`:复用 Qdrant按 case 特征检索 top-k confirmed 样本,带 token 预算裁剪。
证据:`server/src/app/services/few_shot_retrieval.py``server/src/app/services/few_shot_store.py`(独立 Qdrant collection `few_shot_samples``server/src/app/services/embedding_provider.py`(公共 EmbeddingProvider复用 knowledge_rag_runtime 的 HTTP 调用)。
- [ ] [CONCEPT: 后端] 新增 `services/prompt_registry.py`prompt 版本 CRUD + 策略取版latest/canary/pinned+ 回退硬编码。
证据:飞轮 3prompt 版本化 + Canary未启动本轮只做飞轮 1。
- [ ] [CONCEPT: 后端] 新增 `services/eval_harness.py`:在 golden set 上跑评测,输出 precision/recall/f1供门禁与看板共用。
证据:飞轮 2golden set + 门禁)未启动,本轮只做飞轮 1。
- [ ] [CONCEPT: 后端] 新增 `services/feedback_attribution.py`:低分反馈触发,复用 AgentTraceCenter trace 做归因,输出错误环节标签 + 改进任务。
证据:飞轮 5低分归因未启动本轮只做飞轮 1。
- [ ] [CONCEPT: 后端] 新增 `services/extraction_correction_recorder.py`:在附件/明细字段更新处记录 raw vs corrected diff。
证据:飞轮 4抽取修正回流未启动本轮只做飞轮 1。
- [ ] [CONCEPT: 后端] Alembic 迁移prompt_version / golden_set / extraction_correction / eval_run 四张表。
证据:本轮新增的是 FewShotSample 一张表(`server/src/app/models/few_shot_sample.py`),项目靠 `Base.metadata.create_all()` 建表(无 alembic versions/ 目录),已注册到 `db/base.py``models/__init__.py`。其余三表随对应飞轮再建。
- [x] [CONCEPT: 后端] 新增 `services/few_shot_ingestion.py`RiskObservation confirmed/false_positive → FewShotSample + Qdrant 向量,在 `risk_observations.create_feedback` commit 后 hook 触发。
证据:`server/src/app/services/few_shot_ingestion.py``server/src/app/services/risk_observations.py:324-345``_maybe_ingest_few_shot` hook带 feature flag + try/except 兜底)。
- [x] [CONCEPT: 数据与契约] 在现有 prompt 构造文件加 few-shot 注入,不改业务接口。
证据:`server/src/app/services/risk_rule_generation_prompt.py`(新增 `few_shot_samples` 可选 kwarg合并进 examples 字段);`server/src/app/services/risk_rule_generation.py:271-292``_retrieve_few_shot_samples` 在构造 messages 前调用,失败降级为空)。
## 4. 算法/规则实现
- [x] [CONCEPT: 算法与规则] 实现few-shot 检索排序(向量相似度 + 元数据硬匹配),只取 confirmed 样本。
证据:`server/src/app/services/few_shot_store.py`Qdrant 余弦相似度 + payload 过滤 scene/label/status`few_shot_retrieval.py` 去重 + token 预算 + 单条字符上限裁剪。检索仅取 label ∈ {confirmed, false_positive}。
- [ ] [CONCEPT: 算法与规则] 实现评测指标比对器(风险标记 / 字段值 / 分类标签 三类场景)。
证据:飞轮 2未启动。
- [ ] [CONCEPT: 算法与规则] 接入发布门禁:`agent_asset_risk_rule_publish` 前调 eval_harness不达标 block。
证据:飞轮 2未启动。
- [ ] [CONCEPT: 算法与规则] 接入 Canary 流量切分(默认 90 stable / 10 canary+ 劣化自动回滚。
证据:飞轮 3未启动。
- [x] [CONCEPT: 结果解释] few-shot 块在 prompt 中保留 `source: "historical_confirmed"` 标记,可追溯。
证据:`risk_rule_generation_prompt.py` 合并 examples 时每条历史样本带 `source`/`label`/`conclusion` 字段。
## 5. 前端实现
- [ ] [CONCEPT: 前端] AI 智商看板新页面:准确率/召回率/误报率/人工干预率随时间曲线 + golden set 覆盖度,复用 `finance-report` 看板骨架。
证据:
- [ ] [CONCEPT: 前端] Canary 控制台(并入 Settings/Policiesprompt 版本列表、流量比例、分数、一键回滚。
证据:
- [ ] [CONCEPT: 前端] 实现加载/空态(样本不足)/错误态(评测失败)/权限态(仅算法运营)。
证据:
- [ ] [CONCEPT: 前端] 对齐现有企业后台风格(参考 `chat-ui-saas-styling` / `theme-settings-enterprise-ai-style`),避免营销页观感。
证据:
## 6. 测试与验证
- [x] [CONCEPT: 测试方案] 后端单测embedding_providerGLM/Ollama 分支、维度缓存、HTTP 错误降级、few_shot_ingestionconfirmed/false_positive 入库、ignored 跳过、幂等去重、hook 触发、feature flag、吞异常、few_shot_retrieval去重、token 预算、超长截断)+ prompt 注入(合并 examples、向后兼容
证据:`server/tests/test_embedding_provider.py``server/tests/test_few_shot_ingestion.py``server/tests/test_few_shot_retrieval_and_prompt.py`,容器内 `pytest -q` 20 passed。
- [ ] [CONCEPT: 测试方案] 前端:智商看板与 Canary 控制台视图模型 + 构建验证。
证据:飞轮 3/6 前端,未启动。
- [ ] [CONCEPT: 测试方案] 集成golden set → 改 prompt → 门禁拦截/通过 → 看板新增数据点,容器内跑通。
证据:飞轮 2 集成,未启动。
- [x] [CONCEPT: 测试方案] 回归:现有 RAG / risk_observations / risk_rule_generation 测试全过。
证据:容器内 `pytest -q server/tests/test_risk_observations_service.py server/tests/test_knowledge_rag_runtime.py server/tests/test_risk_rule_generation.py server/tests/test_risk_rule_generation_failure.py` → 35 passedEmbeddingProvider 抽离零回归。
- [ ] [CONCEPT: 指标与验收] 记录验证命令与结果,确认 P95 检索 ≤ 200ms、单场景评测 ≤ 60s。
证据:性能指标待飞轮 2 评测上线后连同 golden set 一起量。
## 7. 文档收尾
- [x] [CONCEPT: 指标与验收] 飞轮 1few-shot 注入A1 功能验收已达成:推理时 prompt 中可见带 `source: "historical_confirmed"` 的 few-shot 块,且样本来自 confirmed/false_positive 池。A5 可观测性部分达成(可追溯 source。A2/A3/A4 随飞轮 2/3 补齐。
证据:见阶段 3/4/6 已勾选项。
- [ ] [CONCEPT: 风险与开放问题] 更新 Canary 比例、看板菜单位置、政策新鲜度检测的最终结论与剩余风险。
证据:飞轮 2-6 启动后再定稿。
- [x] [CONCEPT: 功能一句话] 确认飞轮 1 实现没有偏离"让系统越用越聪明"的原始目标。
证据:人工确认风险观测 → 自动入库 + 向量化 → 下次规则编译时检索注入相似历史样本,形成"用得越多 → 样本越丰富 → 推理越准"的闭环。飞轮 2-6 待后续迭代。

View File

@@ -0,0 +1,104 @@
from __future__ import annotations
from unittest.mock import patch
import pytest
from app.services.embedding_provider import EmbeddingProvider, _runtime_model_config_from_dict
from app.services.knowledge_rag_runtime import KnowledgeRagError, RuntimeModelConfig
def _config(provider: str = "GLM") -> RuntimeModelConfig:
return RuntimeModelConfig(
slot="embedding",
provider=provider,
model="Embedding-3",
endpoint="https://open.bigmodel.cn/api/paas/v4/",
api_key="k",
capability="embedding",
)
def test_runtime_model_config_from_dict_maps_fields() -> None:
cfg = _runtime_model_config_from_dict(
{
"slot": "embedding",
"provider": "GLM",
"model": "Embedding-3",
"endpoint": "https://e",
"apiKey": "secret",
"capability": "embedding",
}
)
assert cfg.api_key == "secret"
assert cfg.model == "Embedding-3"
def test_embed_empty_texts_returns_empty() -> None:
provider = EmbeddingProvider(_config())
assert provider.embed([]) == []
def test_embed_returns_vectors_and_caches_dimension() -> None:
provider = EmbeddingProvider(_config())
with patch(
"app.services.embedding_provider._request_embeddings_public",
return_value=[[0.1, 0.2, 0.3], [0.4, 0.5, 0.6]],
) as mock_req:
vectors = provider.embed(["a", "b"])
assert vectors == [[0.1, 0.2, 0.3], [0.4, 0.5, 0.6]]
assert provider.dimension() == 3
calls_after_first_dimension = mock_req.call_count
# 第二次 dimension 不应再次请求
assert provider.dimension() == 3
assert mock_req.call_count == calls_after_first_dimension
def test_dimension_raises_on_invalid_vectors() -> None:
provider = EmbeddingProvider(_config())
with patch(
"app.services.embedding_provider._request_embeddings_public",
return_value=[],
):
with pytest.raises(KnowledgeRagError):
provider.dimension()
def test_request_embeddings_public_glm_branch() -> None:
cfg = _config("GLM")
with patch(
"app.services.embedding_provider._send_json_request",
return_value=(200, {"data": [{"embedding": [0.1, 0.2]}]}),
) as mock_send:
from app.services.embedding_provider import _request_embeddings_public
vectors = _request_embeddings_public(cfg, ["x"])
assert vectors == [[0.1, 0.2]]
called_url = mock_send.call_args.args[1]
assert called_url.endswith("/embeddings")
def test_request_embeddings_public_ollama_branch() -> None:
cfg = _config("Ollama")
with patch(
"app.services.embedding_provider._send_json_request",
return_value=(200, {"embeddings": [[0.5, 0.6]]}),
) as mock_send:
from app.services.embedding_provider import _request_embeddings_public
vectors = _request_embeddings_public(cfg, ["x"])
assert vectors == [[0.5, 0.6]]
called_url = mock_send.call_args.args[1]
assert called_url.endswith("/api/embed")
def test_request_embeddings_public_raises_on_http_error() -> None:
cfg = _config("GLM")
with patch(
"app.services.embedding_provider._send_json_request",
return_value=(500, {"message": "boom"}),
):
from app.services.embedding_provider import _request_embeddings_public
with pytest.raises(KnowledgeRagError):
_request_embeddings_public(cfg, ["x"])

View File

@@ -0,0 +1,214 @@
from __future__ import annotations
from collections.abc import Generator
from datetime import datetime
from decimal import Decimal
from types import SimpleNamespace
from unittest.mock import MagicMock, patch
import pytest
from sqlalchemy import create_engine
from sqlalchemy.orm import Session, sessionmaker
from sqlalchemy.pool import StaticPool
from app.db.base import Base
from app.models.employee import Employee
from app.models.few_shot_sample import FewShotSample
from app.models.financial_record import ExpenseClaim
from app.models.risk_observation import RiskObservation
from app.schemas.risk_observation import RiskObservationFeedbackCreate
from app.services.few_shot_ingestion import FewShotIngestionService
from app.services.risk_observations import RiskObservationService
def _build_session() -> Session:
engine = create_engine(
"sqlite+pysqlite:///:memory:",
connect_args={"check_same_thread": False},
poolclass=StaticPool,
)
Base.metadata.create_all(bind=engine)
factory = sessionmaker(bind=engine, autoflush=False, autocommit=False)
return factory()
def _observation(db: Session, key: str = "risk:c1:dup") -> RiskObservation:
db.add(Employee(id="emp-1", employee_no="E1", name="员工", email="e@e.com", grade="P6"))
db.add(
ExpenseClaim(
id="c1",
claim_no="BX-001",
employee_id="emp-1",
employee_name="员工",
department_name="风控部",
expense_type="travel",
reason="客户拜访",
location="上海",
amount=Decimal("1000"),
currency="CNY",
occurred_at=datetime(2026, 1, 1),
submitted_at=datetime(2026, 1, 1),
status="submitted",
approval_stage="manager_review",
risk_flags_json=[],
)
)
db.flush()
obs = RiskObservation(
observation_key=key,
subject_type="expense_claim",
subject_key="claim:c1",
claim_id="c1",
claim_no="BX-001",
risk_type="duplicate_invoice",
risk_signal="duplicate_invoice",
title="重复发票",
description="同一发票出现在多张报销单",
risk_score=86,
risk_level="high",
confidence_score=0.8,
source="financial_risk_graph",
algorithm_version="v1",
ontology_json={"domain": "expense", "scenario": "reimbursement"},
)
db.add(obs)
db.commit()
db.refresh(obs)
return obs
def test_ingest_confirmed_persists_sample_and_calls_store() -> None:
with _build_session() as db:
obs = _observation(db)
obs.feedback_status = "confirmed"
service = FewShotIngestionService(db)
fake_store = MagicMock()
fake_store.upsert.return_value = "vec-1"
with patch.object(service, "_store", return_value=fake_store):
sample = service.ingest_observation_feedback(
obs,
MagicMock(feedback_type="confirm", comment="确认重复发票", actor="audit"),
)
assert sample is not None
assert sample.label == "confirmed"
assert sample.sample_key == f"obs:{obs.id}"
assert "重复发票" in sample.case_text
assert "确认重复发票" in sample.conclusion_text
assert sample.vector_id == "vec-1"
fake_store.upsert.assert_called_once()
def test_ingest_false_positive_also_persisted() -> None:
with _build_session() as db:
obs = _observation(db, key="risk:c2:fp")
obs.feedback_status = "false_positive"
db.commit()
service = FewShotIngestionService(db)
with patch.object(service, "_store", return_value=MagicMock(upsert=MagicMock(return_value=None))):
sample = service.ingest_observation_feedback(
obs,
MagicMock(feedback_type="false_positive", comment="", actor="audit"),
)
assert sample is not None
assert sample.label == "false_positive"
assert "误报" in sample.conclusion_text
def test_ingest_ignored_label_returns_none() -> None:
with _build_session() as db:
obs = _observation(db)
obs.feedback_status = "ignored"
service = FewShotIngestionService(db)
assert service.ingest_observation_feedback(obs, MagicMock()) is None
def test_ingest_is_idempotent_on_duplicate_sample_key() -> None:
with _build_session() as db:
obs = _observation(db)
service = FewShotIngestionService(db)
store = MagicMock()
store.upsert.side_effect = ["vec-1", "vec-2"]
with patch.object(service, "_store", return_value=store):
obs.feedback_status = "confirmed"
first = service.ingest_observation_feedback(
obs, MagicMock(feedback_type="confirm", comment="第一次", actor="a")
)
# 模拟后续被改判为误报
obs.feedback_status = "false_positive"
second = service.ingest_observation_feedback(
obs, MagicMock(feedback_type="false_positive", comment="改判", actor="a")
)
assert first is not None and second is not None
assert first.id == second.id # 同一行更新
from sqlalchemy import select
count = db.scalar(select(FewShotSample).where(FewShotSample.sample_key == f"obs:{obs.id}"))
assert count is not None
assert second.label == "false_positive"
def test_create_feedback_hook_triggers_ingestion() -> None:
with _build_session() as db:
service = RiskObservationService(db)
obs = _observation(db)
ingest_calls: list = []
def _spy_ingest(o, f):
ingest_calls.append((o.id, f.feedback_type))
return None
with patch(
"app.services.few_shot_ingestion.FewShotIngestionService.ingest_observation_feedback",
side_effect=_spy_ingest,
):
service.create_feedback(
obs.observation_key,
RiskObservationFeedbackCreate(feedback_type="confirm", actor="audit"),
)
assert len(ingest_calls) == 1
assert ingest_calls[0][1] == "confirm"
def test_create_feedback_hook_skipped_for_comment_feedback() -> None:
with _build_session() as db:
service = RiskObservationService(db)
obs = _observation(db)
with patch(
"app.services.few_shot_ingestion.FewShotIngestionService.ingest_observation_feedback"
) as mock_ingest:
service.create_feedback(
obs.observation_key,
RiskObservationFeedbackCreate(feedback_type="comment", action="note", actor="audit"),
)
mock_ingest.assert_not_called()
def test_create_feedback_hook_swallows_ingestion_failure() -> None:
with _build_session() as db:
service = RiskObservationService(db)
obs = _observation(db)
with patch(
"app.services.few_shot_ingestion.FewShotIngestionService.ingest_observation_feedback",
side_effect=RuntimeError("boom"),
):
# 不应抛异常
feedback = service.create_feedback(
obs.observation_key,
RiskObservationFeedbackCreate(feedback_type="confirm", actor="audit"),
)
assert feedback.feedback_type == "confirm"
def test_create_feedback_hook_respects_feature_flag(monkeypatch: pytest.MonkeyPatch) -> None:
monkeypatch.setenv("FEW_SHOT_INJECTION_ENABLED", "false")
with _build_session() as db:
service = RiskObservationService(db)
obs = _observation(db)
with patch(
"app.services.few_shot_ingestion.FewShotIngestionService.ingest_observation_feedback"
) as mock_ingest:
service.create_feedback(
obs.observation_key,
RiskObservationFeedbackCreate(feedback_type="confirm", actor="audit"),
)
mock_ingest.assert_not_called()

View File

@@ -0,0 +1,119 @@
from __future__ import annotations
import json
from unittest.mock import MagicMock, patch
import pytest
from app.services.few_shot_retrieval import FewShotRetriever
from app.services.few_shot_store import FewShotStore
from app.services.risk_rule_generation_prompt import build_risk_rule_compiler_messages
def _hit(score: float, label: str, conclusion: str, risk_type: str = "duplicate_invoice") -> dict:
return {
"sample_id": "s1",
"score": score,
"label": label,
"domain": "expense",
"risk_type": risk_type,
"conclusion_text": conclusion,
"payload_json": {
"risk_signal": risk_type,
"risk_level": "high",
"ontology": {"scenario": "reimbursement"},
"feedback_comment": "",
},
}
def test_retrieve_returns_injection_blocks_with_token_budget() -> None:
store = MagicMock(spec=FewShotStore)
store.search.return_value = [
_hit(0.9, "confirmed", "确认重复发票需拦截"),
_hit(0.8, "false_positive", "此情形属于正常拆单不拦截"),
_hit(0.7, "confirmed", "确认重复发票需拦截"), # 重复结论应被去重
]
retriever = FewShotRetriever(store)
blocks = retriever.retrieve_for_risk_rule_generation(
domain="expense", natural_language="同一发票重复报销"
)
assert len(blocks) == 2
assert blocks[0]["score"] == 0.9
assert blocks[0]["label"] == "confirmed"
assert blocks[0]["source"] == "historical_confirmed"
assert blocks[1]["label"] == "false_positive"
# 去重:第三条结论与第一条相同,应被过滤
conclusions = [b["conclusion"] for b in blocks]
assert len(set(conclusions)) == len(conclusions)
def test_retrieve_empty_case_text_returns_empty() -> None:
store = MagicMock(spec=FewShotStore)
retriever = FewShotRetriever(store)
assert retriever.retrieve_for_risk_rule_generation(natural_language="") == []
store.search.assert_not_called()
def test_retrieve_truncates_overlong_conclusion() -> None:
store = MagicMock(spec=FewShotStore)
long_text = "长结论" * 500
store.search.return_value = [
_hit(0.9, "confirmed", long_text),
]
retriever = FewShotRetriever(store)
blocks = retriever.retrieve_for_risk_rule_generation(natural_language="x")
assert len(blocks) == 1
# 超长结论应被截断到单条上限
from app.services.few_shot_retrieval import SINGLE_SAMPLE_MAX_CHARS
assert len(blocks[0]["conclusion"]) <= SINGLE_SAMPLE_MAX_CHARS
def test_build_prompt_merges_few_shot_into_examples() -> None:
samples = [
{
"source": "historical_confirmed",
"label": "confirmed",
"domain": "expense",
"risk_type": "duplicate_invoice",
"conclusion": "确认重复发票",
"context": {"risk_signal": "duplicate_invoice"},
}
]
messages = build_risk_rule_compiler_messages(
domain="expense",
domain_label="报销",
business_stage="reimbursement",
business_stage_label="报销",
expense_category=None,
expense_category_label="",
natural_language="重复发票规则",
available_fields=[{"key": "attachment.invoice_no", "label": "发票号", "type": "string", "source": "attachment"}],
few_shot_samples=samples,
)
assert len(messages) == 2
payload = json.loads(messages[1]["content"])
examples = payload["examples"]
# 前两条是历史样本,后面是内置 examples
assert examples[0]["source"] == "historical_confirmed"
assert examples[0]["conclusion"] == "确认重复发票"
# 内置 example 仍存在(无 source 字段)
assert any("user_rule" in ex for ex in examples)
def test_build_prompt_without_few_shot_is_backward_compatible() -> None:
messages = build_risk_rule_compiler_messages(
domain="expense",
domain_label="报销",
business_stage="reimbursement",
business_stage_label="报销",
expense_category=None,
expense_category_label="",
natural_language="重复发票规则",
available_fields=[],
)
payload = json.loads(messages[1]["content"])
examples = payload["examples"]
# 无 few_shot_samples 时 examples 里不应有 historical_confirmed 来源
assert all(ex.get("source") != "historical_confirmed" for ex in examples)