Logo
Section 1 / 14

简介

构建用于训练和评估机器学习模型的输入流水线

导入

简介

构建用于训练和评估机器学习模型的输入流水线

在本课程章节中,你将对初步数据分析部分得到的最终数据集进行数据处理。具体来说,你将构建用于训练和评估机器学习模型的输入流水线。

A. 进一步的数据处理

在初步数据分析部分,我们对零售数据集进行了分析,得出结论:数据集中的特征与每周门店销售额之间存在足够强的相关性,可用于预测。

在该章节中,由于数据文件较小,因此可以使用相对简单的技术进行处理。如果文件更大、资源消耗更高,则应采用高效数据处理技术部分中介绍的方法。

在向项目负责人确认该预测任务可行后,我们开始着手构建机器学习模型。

然而,在编写任何实际的机器学习代码之前,我们需要先继续对数据进行处理,以构建高效的输入流水线。输入流水线决定了数据在模型训练或评估的每一步中如何被传入模型。由于模型训练通常需要成千上万步,因此输入流水线的效率至关重要。

我们之前创建的最终数据集存储在 pandas DataFrame 中。由于 DataFrame 并不是输入流水线中最高效的数据存储形式,因此我们需要进行额外的处理,以构建更高效的解决方案。

初步数据分析

数据集划分