Logo
☆☆☆☆☆
0.0
Beginner
7h

Python中的数据工程基础

数据工程是当前数据和技术领域中最热门的需求方向之一。它融合了软件工程、DataOps、数据架构、数据管理和安全等多个领域。数据工程师为分析师、数据科学家等数据使用者提供数据支持,奠定数据服务的基础。 本课程将带你掌握数据工程的核心知识,涵盖数据全生命周期的各个环节:数据仓库、数据摄取、数据转换、任务编排等。你还将通过实践项目,学习使用 Python、Kafka、PySpark、Airflow、dbt 等多种技术构建数据管道。 完成本课程后,你将全面理解数据工程的体系,并具备构建数据管道的能力,以满足各类数据消费者的需求。

10 Lessons
Included in Subscription Plan
Personalized Learning
Powered by AI
Python中的数据工程基础
数据工程是当前数据和技术领域中最热门的需求方向之一。它融合了软件工程、DataOps、数据架构、数据管理和安全等多个领域。数据工程师为分析师、数据科学家等数据使用者提供数据支持,奠定数据服务的基础。 本课程将带你掌握数据工程的核心知识,涵盖数据全生命周期的各个环节:数据仓库、数据摄取、数据转换、任...

WHAT YOU'LL LEARN

对数据工程生命周期的理解

Content

10 Lessons • 0 Quizzes • 0 Challenges

入门
  1. 1

    简介

数据团队结构
  1. 1

    数据团队角色

  2. 2

    数据团队架构:嵌入式还是集中式?

  3. 3

    测验:数据团队结构

数据质量
  1. 1

    数据质量度量

  2. 2

    数据模式:Avro 和 Protobuf

  3. 3

    在 dbt 中管理数据质量

  4. 4

    测验:数据质量

数据工程生命周期
  1. 1

    设置 Google Cloud

  2. 2

    数据工程生命周期简介

  3. 3

    数据摄入、转换与可视化

  4. 4

    存储与基础设施

  5. 5

    测验:数据工程生命周期

尾声
  1. 1

    未来的方向

云数据架构
  1. 1

    云数据架构的演进

  2. 2

    云服务模型

  3. 3

    云数据架构:Lambda、Kappa 与数据仓库

  4. 4

    云数据架构:数据湖与数据网格

  5. 5

    良好的云数据架构模式

  6. 6

    测验:云数据架构

附录
  1. 1

    更多资源

数据摄入
  1. 1

    批量摄入

  2. 2

    流数据摄入

  3. 3

    推送与拉取

  4. 4

    数据摄入方式——SFTP、API 和对象存储

  5. 5

    数据摄入方式——变更数据捕获(CDC)

  6. 6

    数据摄入方式——流式平台

  7. 7

    使用 pandas 进行数据导入

  8. 8

    使用 PySpark 进行数据摄入

  9. 9

    测验:数据摄取

数据建模
  1. 1

    数据建模简介

  2. 2

    金布尔的数据建模

  3. 3

    维度建模的步骤

  4. 4

    DDL 与 DML

  5. 5

    查询生命周期

  6. 6

    挑战:BigQuery SQL

  7. 7

    解决方案:BigQuery SQL

  8. 8

    测验:数据建模

数据编排
  1. 1

    什么是数据编排?

  2. 2

    Airflow 基础知识

  3. 3

    Airflow DAG 设计

  4. 4

    挑战:使用 Airflow 构建一个外汇汇率报告管道

  5. 5

    解决方案:使用 Airflow 构建外汇汇率报告管道

  6. 6

    编排工具:Dagster

  7. 7

    编排工具:dbt

  8. 8

    测验:数据编排

Certificate of Completion

Showcase your accomplishment by sharing your certificate of completion.

Course Author:Anonymous User

Reviews

Read reviews from students who have taken this course and share your own experience.

Reviews & Comments (0)