LLMOps：构建可投入生产的 LLM 系统

LLMOps 是在生产流量、成本限制以及安全威胁的背景下，确保 LLM 应用可靠运行的实践。在本课程中，你将通过从零开始构建并运营一个应用，同时考虑生产环境的约束，学习 LLMOps。 你将从传统机器学习向基础模型的转变开始，了解推动 LLMOps 出现的约束条件：随机输出、高昂的推理成本，以及新的运维产物如提示词和向量索引。你将应用 4D LLMOps 生命周期，定义质量门禁，防止项目在概念验证阶段停滞不前。 你将实现一个参考 RAG 架构，并使用黄金数据集验证检索效果。接着，你将对提示词进行版本管理，强制结构化输出，并引入基于 LLM-as-a-judge 模式的自动化评估和回归测试。最后，你将通过安全与合规控制、容器化部署，以及反馈回路，为生产环境做好准备，确保应用上线后质量持续提升。