使用ETL传输数据

ETL 指的是抽取（Extract）、转换（Transform）和加载（Load）。它是一系列将来自不同来源的数据整合并加载到数据仓库或其他数据存储库中的过程。ETL 对于支持商业智能和数据分析至关重要。 在本课程中，你将实践从多种数据库系统（如 MySQL、PostgreSQL 和 MongoDB）中提取数据。你将使用 SQL、Python 和 Apache Spark 等查询与脚本语言处理数据，并将其加载到数据存储库或云平台（如 Google 的 GCP）中。最后，你将学习如何使用 cron 任务调度 ETL 流水线，或借助开源工具（如 Apache Airflow）实现自动化与监控，并利用 Python 的 pandas 库进行数据处理。 完成本课程后，你将掌握通过 ETL 流水线将数据从源端传输到目标端的各种方法、工具和技术。