学习数据构建工具（DBT）

熟悉 dbt 在数据转换中的作用，以及如何连接 BigQuery 和进行项目设置。

查看如何配置配置文件、文件夹路径、模型设置，以及在 dbt 项目中访问编译后的代码。

动手实践在 dbt 中创建、引用和组织 SQL 模型、配置、模式以及 Python 模型。

掌握设置和引用数据源、使用种子以及查询数据集的基本原理。

在 dbt 中，实现视图、表、增量模型和临时模型的步骤如下： 1. 创建模型文件 在 `models/` 目录下创建一个 `.sql` 文件，例如 `models/staging/sales_stg.sql`。 2. 编写 SQL 逻辑 在模型文件中编写 SQL 查询，定义数据转换逻辑。例如： ```sql {{ config(materialized='view') }} select order_id, customer_id, order_date, amount from raw.sales ``` 3. 配置模型类型（materialized） 使用 `config()` 函数指定模型的物化方式： - `materialized='view'`：创建视图。 - `materialized='table'`：创建表。 - `materialized='incremental'`：创建增量模型。 - `materialized='ephemeral'`：创建临时模型。 4. 增量模型配置（可选） 对于增量模型，还需添加 `incremental_strategy` 和 `unique_key` 等参数，例如： ```sql {{ config(materialized='incremental', incremental_strategy='append', unique_key='order_id') }} select order_id, customer_id, order_date, amount from raw.sales {% if is_incremental() %} where order_date > (select max(order_date) from {{ this }}) {% endif %} ``` 5. 临时模型配置 临时模型不生成实际表或视图，仅在当前会话中存在，适用于中间计算： ```sql {{ config(materialized='ephemeral') }} select customer_id, sum(amount) as total_spent from {{ ref('sales_stg') }} group by customer_id ``` 6. 运行 dbt 项目 执行以下命令运行模型： ```bash dbt run ``` 或者使用 `dbt build` 一次性运行所有依赖模型。 7. 查看结果 模型将根据配置在数据仓库中生成对应的视图、表或临时对象，供后续模型使用。

重点利用 dbt 中的 Jinja 实现动态模型，包括变量、循环和宏。

基于 dbt 包的使用与创建，以简化并提升项目开发效率。

提升你在高级dbt概念方面的技能，包括数据验证、环境管理和文档编写。

看看dbt所具有的变革潜力，它能够提升数据质量并自动化工作流程。