Logo
Section 1 / 18

课程概述

了解课程内容、数据科学的作用以及数据产品的相关概念。

导入

课程概述

了解课程内容、数据科学的作用以及数据产品的相关概念。

将预测模型投入生产是数据科学家为组织创造价值最直接的方式之一。通过学习构建和部署可扩展的模型流水线,数据科学家可以更深入地参与模型生产全流程,并快速交付数据产品。
构建数据产品不仅仅是将代码部署到生产环境,还包括 DevOps 实践以及对在线系统的全生命周期管理。

本课程的目标

在本课程中,我们将介绍多种云环境及用于构建可扩展数据与模型流水线的工具。目标是让读者获得动手实践的机会,并能够使用多种不同工具开始实际构建。由于本课程面向具备 Python 使用经验的数据分析从业者,因此我们会完整演示具体示例的实现过程,但不会深入讲解 Python 编程语言本身的基础知识。

数据科学的角色

数据科学的角色正在不断演变并衍生出新的专业方向。负责构建生产级服务的数据科学家通常被称为应用科学家。他们的目标是构建可扩展且稳健的系统。为了实现可扩展性,我们需要使用能够并行化和分布式执行代码的工具。

代码并行化 指的是可以同时执行多个任务,而 代码分布式运行 则意味着可以根据任务需求扩展所使用的机器数量。稳健的服务 是指具有容错能力、能够在故障后恢复的系统。尽管本课程的重点在于可扩展性而非系统稳健性,但我们仍会涵盖生产环境中的监控系统,并讨论如何持续衡量模型性能的变化。

在我的数据科学家职业生涯中,我曾在多家视频游戏公司工作,有将倾向性模型、用户生命周期价值预测以及推荐系统投入生产的实际经验。总体来看,随着 PySpark 等工具的发展,这一过程已变得更加高效,使数据科学家能够更快地构建端到端的数据产品。

尽管如今许多公司已设立专注于机器学习的工程团队,但数据科学家掌握模型产品化的广泛技能仍然极具价值。更多地参与整个流程,意味着数据科学团队可以更快交付产品,并实现更高效的迭代。

...

数据产品的角色

数据产品对组织的价值在于它能为用户群体提供个性化体验。例如,我曾为 [EverQuest Landmark] 设计的推荐系统,从包含数千个玩家创作内容的市场中,为玩家精准推送定制化内容。任何数据产品的核心目标都应是为组织创造价值——该推荐系统通过提升用户生成内容带来的收入,成功实现了这一目标。
倾向性模型(用于预测用户执行某项操作的可能性)同样可以直接影响组织的核心指标,因为它支持个性化的用户体验,从而提高用户活跃度和参与度。

Course Image

由于各组织在云环境、数据库架构和产品结构方面存在差异,因此模型产品化的具体流程通常各不相同。然而,这些工作流中常使用一些共通的工具,例如 SQL 和 PySpark。你的组织可能并未采用与本课程示例完全相同的生态系统,但其中的方法论可以迁移到你自身的应用场景中。

章节学习目标

在本章中,我们将:

  • 介绍应用科学的角色,并说明为何使用 Python 构建数据产品;
  • 探讨用于扩展数据科学工作的不同云平台与编程环境;
  • 介绍本课程中使用的数据集及模型类型;
  • 引入自动化特征工程的概念,作为数据科学工作流中的重要环节。

应用数据科学