1.9 KiB
1.9 KiB
反馈闭环与持续学习
1. 定位
Agent 系统必须能从人工反馈中持续变好。
反馈来源：
- OCR 人工修正。
- 规则误报/漏报。
- 审批人修改意见。
- 用户对回答的反馈。
- Hermes 风险复盘。
- MCP 调用失败和降级。
2. 反馈类型
ocr_correction
rule_false_positive
rule_false_negative
agent_answer_feedback
approval_opinion_edit
knowledge_answer_feedback
mcp_failure_feedback
task_result_feedback
3. 反馈结构
{
"feedback_id": "",
"feedback_type": "rule_false_positive",
"source_object_type": "rule_run",
"source_object_id": "",
"before": {},
"after": {},
"comment": "",
"created_by": "",
"created_at": ""
}
4. 反馈流向
人工反馈
↓
反馈池
↓
Hermes 聚类分析
↓
候选改进项
↓
人工审核
↓
更新规则 / 知识 / OCR 映射 / Prompt
5. 反馈不直接自动生效
反馈只能生成候选，不直接修改线上规则。
必须人工审核：
- 规则修改。
- 知识发布。
- Prompt 修改。
- OCR 字段映射调整。
6. Hermes 每日反馈复盘
Hermes 每日任务：
读取昨日反馈
聚类相似问题
统计误报高发规则
统计低评分回答
生成优化候选
输出：
rule_improvement_candidates
knowledge_update_candidates
ocr_mapping_candidates
prompt_improvement_notes
7. 质量指标
建议监控：
ocr_correction_rate
rule_false_positive_rate
rule_false_negative_rate
agent_answer_like_rate
agent_answer_rewrite_rate
knowledge_no_hit_rate
mcp_failure_rate
8. 开发阶段建议
Step 1: 增加反馈按钮和反馈表
Step 2: OCR 修正写入反馈池
Step 3: 规则误报/漏报反馈
Step 4: Agent 回答反馈
Step 5: Hermes 每日反馈聚类
Step 6: 生成优化候选
Step 7: 人工审核发布
Step 8: 建立质量看板