学习数据工程

数据工程是现代数据基础设施的基石，专注于构建能够收集、存储、处理和分析大规模数据集的系统。掌握这一技能将使你成为现代数据驱动型企业中的关键角色。作为数据工程师，你的职责是确保数据对分析师和科学家来说易于获取且可靠。 本课程中，你将首先了解数据在各类系统中的流动方式，并学习使用 SQL 和 Python 获取与操作结构化数据。接着，你将处理非结构化和半结构化数据，使用 NoSQL 和 MongoDB 技术。然后，你将学习如何利用数据仓库和湖仓架构设计可扩展的数据系统。最后，你将掌握 Hadoop、Spark 和 Kafka 等技术，用于处理大数据。 完成本课程后，你将能够构建稳健的数据管道，处理多种类型的数据，并熟练运用大数据技术。