数据质量度量
了解数据质量的重要性以及如何衡量它。
最终，数据工程工作的产出是为了挖掘数据洞察，无论是用于生成指标仪表盘，还是直接支撑产品功能，亦或是作为机器学习模型的输入数据。无论哪种情况，都必须赋予其业务背景，以帮助下游用户更好地理解。具备业务驱动思维意味着我们需要理解业务问题，并在关注技术细节之前，从业务角度评估数据质量。
技术维度是一组可纳入数据管道的可衡量维度，正所谓“可衡量的才会被改进”。这些维度为公司在全公司范围内构建全面的数据质量框架提供了蓝图。目前已有多种数据工具提供预设解决方案，以确保这些领域的数据质量。
高数据可用性意味着授权用户可以在任何时间轻松、及时地访问数据。如果某个数据表不可用，原因可能是云服务商（如 BigQuery）的问题，也可能是数据管道本身存在问题。大多数云服务商都提供服务等级协议（SLA），即合同中明确承诺的服务水平和性能保障。例如，BigQuery 承诺达到 99.99% 的正常运行时间。当因 BigQuery 问题导致数据表不可用时，作为 BigQuery 用户，我们有权获得相应的补偿。
“新鲜数据”指的是可用于分析的最新信息，意味着数据尽可能接近实时，能够反映源系统中的最新变化。数据的新鲜度是做出及时、准确商业决策的重要因素。例如，在每日收入仪表盘中，若缺少昨日的数据，将导致财务分析延迟。随着越来越多企业追求近实时分析，数据新鲜度已成为不可或缺的衡量标准。
源数据中常见的一个问题就是重复数据，这可能导致分析结果产生误导。需要注意的是，“唯一性”的定义因场景而异。可以是某一列的唯一性，比如 customer_id，即每行应具有唯一的客户 ID，其余列内容可相同也可不同；也可以是多个列组合的唯一性，如 order_id 和 product_id 的组合，甚至可能要求整行数据唯一。
现实中，数据点缺失的原因多种多样，可能是源系统问题、业务逻辑中的缺陷，也可能是连接或过滤条件设置不当。数据完整性维度用于衡量包含有效值的数据点数量。在某些情况下，数据不完整是业务特性所决定的，属于正常现象；但在其他情况下，数据缺失可能表明存在数据质量问题，需要引起重视。