内容
0 课时 • 0 测验 • 0 挑战
课程暂未关联课时
当前课程存在，但没有可学习的课时内容。请稍后再试。
☆☆☆☆☆
0.0中级
2h
LLM 评估：规模化构建可靠的 AI 系统
本课程提供了一条构建可靠、可投入生产的 LLM 系统的路线图，通过严格的评估实现。你将从学习系统化评估的重要性开始，并掌握如何使用 traces 和错误分析来理解模型行为。 你将通过捕获真实失败案例并为边缘情况生成合成数据，建立一个评估工作流。你将避免诸如误导性的相似度指标等陷阱，并了解为何简单的二元评估通常优于复杂的数值量表。你还将学习架构最佳实践，包括提示（prompts）的位置安排，以及如何将防护机制（guardrails）与评估器分离。 接下来，你将在生产环境中评估复杂系统：对多轮对话进行评分、验证代理工作流，并诊断常见的 RAG 失败模式。你还将了解 LangSmith 等工具的内部运作原理，包括它们测量的内容以及分数的计算方式。课程结束时，你将把评估集成到开发流程中，通过 CI 检查和回归测试，确保随着使用量和复杂性的增长，AI 系统依然稳定。
5 课时
LLM 评估：规模化构建可靠的 AI 系统
本课程提供了一条构建可靠、可投入生产的 LLM 系统的路线图，通过严格的评估实现。你将从学习系统化评估的重要性开始，并掌握如何使用 traces 和错误分析来理解模型行为。
你将通过捕获真实失败案例并为边缘情况生成合成数据，建立一个评估工作流。你将避免诸如误导性的相似度指标等陷阱，并了解为何简单的二元评估通常优于复杂的数值量表。你还将学习架构最佳实践，包括提示（prompts）的位置安排，以及如何将防护机制（guardrails）与评估器分离。
接下来，你将在生产环境中评估复杂系统：对多轮对话进行评分、验证代理工作流，并诊断常见的 RAG 失败模式。你还将了解 LangSmith 等工具的内部运作原理，包括它们测量的内容以及分数的计算方式。课程结束时，你将把评估集成到开发流程中，通过 CI 检查和回归测试，确保随着使用量和复杂性的增长，AI 系统依然稳定。
本课程提供了一条构建可靠、可投入生产的 LLM 系统的路线图，通过严格的评估实现。你将从学习系统化评估的重要性开始，并掌握如何使用 traces 和错误分析来理解模型行为。
你将通过捕获真实失败案例并为边缘情况生成合成数据，建立一个评估工作流。你将避免诸如误导性的相似度指标等陷阱，并了解为何简单的...
你将学到什么
对系统性 LLM 评估的理解以及追踪和错误分析的关键作用
通过实际操作捕获和审查完整的追踪数据，以识别系统故障
在生成用于边缘情况测试和多样化行为分析的结构化合成数据方面具备熟练技能
设计二元通过/不通过评估的能力，其效果优于具有误导性的数值量表
在评估架构内将提示（prompts）作为版本化系统构件进行管理的能力
对多轮对话和代理工作流的专用评估具备实际操作能力
对系统性 LLM 评估的理解以及追踪和错误分析的关键作用
评价
阅读参加过此课程的学生的评价，并分享您的学习体验。