LLM 评估：规模化构建可靠的 AI 系统

本课程提供了一条构建可靠、可投入生产的 LLM 系统的路线图，通过严格的评估实现。你将从学习系统化评估的重要性开始，并掌握如何使用 traces 和错误分析来理解模型行为。 你将通过捕获真实失败案例并为边缘情况生成合成数据，建立一个评估工作流。你将避免诸如误导性的相似度指标等陷阱，并了解为何简单的二元评估通常优于复杂的数值量表。你还将学习架构最佳实践，包括提示（prompts）的位置安排，以及如何将防护机制（guardrails）与评估器分离。 接下来，你将在生产环境中评估复杂系统：对多轮对话进行评分、验证代理工作流，并诊断常见的 RAG 失败模式。你还将了解 LangSmith 等工具的内部运作原理，包括它们测量的内容以及分数的计算方式。课程结束时，你将把评估集成到开发流程中，通过 CI 检查和回归测试，确保随着使用量和复杂性的增长，AI 系统依然稳定。