构建生产级 RAG 应用的范围界定与规划

1# 项目：Halluli 支持助手
2
3## 1. 问题陈述
4Halluli 的员工难以在多个内部文档来源（人力资源手册、Nimble 指南、工具文档）中快速查找信息。这导致反复向管理层询问政策、流程和工具使用问题，降低了组织效率，并造成答案不一致。
5
6## 2. 产品定义
7一个基于 RAG 的聊天界面，为 Halluli 员工提供服务，接收关于内部政策、工具和流程的查询，并返回简洁、准确且附有来源引用的答案，严格基于提供的文档（HR_manual.MD、Nimble_guide.MD、Tools.MD）。
8
9## 3. 成功关键绩效指标（质量门禁）
10- **准确性：** 在黄金数据集上的忠实度 > 90%（离线评估使用 scripts/golden_dataset.csv）。
11- **延迟：** p95 响应时间 < 2 秒（预发环境门禁）。
12- **成本：** 每次查询平均成本 < $0.01。
13- **覆盖率：** 成功回答黄金数据集中所有关于人力资源政策、Nimble 使用及内部工具的问题。
14
15## 4. 数据清单
16- **来源：** 包含三个核心 Markdown 文件的 `data/` 目录：
17  - `HR_manual.MD` - 内部政策与流程
18  - `Nimble_guide.MD` - 捐赠募集与联系人管理流程
19  - `Tools.MD` - 内部工具与平台使用说明
20- **新鲜度：** 当文档文件更新时，管道必须通过 scripts/ingest.py 重新摄入数据。
21- **限制：** 仅限内部文档。禁止访问外部数据或处理超出查询清洗范围的个人身份信息（PII）。
22
23## 5. 风险评估
24- **幻觉风险：** 中等。（风险：员工收到错误的政策信息。缓解措施：temperature=0.1，严格 JSON 输出格式，系统提示要求仅基于文档作答）。
25- **安全风险：** 低。（仅内部数据，查询中进行 PII 清洗）。
26- **一致性风险：** 中等。（风险：相同问题得到不同答案。缓解措施：确定性嵌入，一致的重排序，结构化 JSON 响应）。