Amazon DynamoDB

DynamoDB 的高层设计 DynamoDB 是一种完全托管的分布式 NoSQL 数据库服务，专为高可用性、高性能和可扩展性而设计。其核心架构基于 Amazon 的 Dynamo 论文思想，并结合了现代云基础设施的优势。 1. 分布式架构 DynamoDB 将数据分布在多个区域（Region）和可用区（Availability Zone）中，确保跨地域的高可用性和容错能力。每个表的数据被自动分片（Sharding），并均匀分布到多个存储节点上，以实现负载均衡和水平扩展。 2. 无模式设计 DynamoDB 采用灵活的无模式（Schema-less）数据模型，允许每条记录具有不同的属性结构。用户无需预先定义表结构，可以动态添加或删除字段，非常适合快速迭代的应用场景。 3. 主键与索引 - **主键**：每张表必须定义一个主键，包括分区键（Partition Key）和可选的排序键（Sort Key）。分区键决定数据在物理存储上的分布，排序键用于在同一分区内的数据排序。 - **全局二级索引（GSI）**：支持基于非主键字段的查询，提升灵活性。每个 GSI 可以独立配置读写容量。 - **局部二级索引（LSI）**：仅在同一个分区键下的数据上创建，适用于需要按特定条件查询同一分区数据的场景。 4. 自动扩展与性能控制 DynamoDB 支持自动扩展读写容量。用户可以选择： - **按需容量模式**：根据实际流量自动调整吞吐量，无需预置容量。 - **预留容量模式**：提前分配固定读写容量，适合工作负载稳定的场景。 5. 数据持久性与一致性 - 所有写入操作均通过多副本复制机制保证持久性，数据在多个可用区中冗余存储。 - 提供强一致读取（Strongly Consistent Read）和最终一致读取（Eventually Consistent Read）两种选项，用户可根据需求选择一致性级别。 6. 高可用与容灾 DynamoDB 在单个区域内部自动跨可用区复制数据，同时支持跨区域备份和恢复，确保灾难恢复能力。 7. 安全与访问控制提供细粒度的访问控制，支持 IAM 策略、加密（静态和传输中）、VPC 终端节点等安全功能，保障数据安全。 8. 与 AWS 生态集成 DynamoDB 与 AWS 其他服务无缝集成，如 Lambda（事件驱动处理）、S3（对象存储）、CloudWatch（监控）、Kinesis（流处理）等，便于构建完整应用系统。总结： DynamoDB 通过分布式架构、灵活的数据模型、自动扩展能力以及强大的可靠性机制，为大规模、高并发应用提供了高效、可靠的底层数据支持。

序言

文件系统

Google 文件系统（GFS）

Google Colossus 文件系统

Facebook 的 Tectonic 文件系统

数据库

Google Bigtable

Google Megastore

Google Spanner

键值存储

多核键值存储

扩展 Memcache

SILT

并发管理

两阶段锁（2PL）

Google Chubby 锁服务

ZooKeeper

大数据处理：批处理到流处理

MapReduce

Spark

Kafka

共识

理解共识：两将军问题、FLP 不可能定理与拜占庭将军问题

两阶段提交

状态机复制

Paxos

Raft

尾声

DynamoDB 系统设计深度解析

DynamoDB 系统设计深度解析

课程内容已锁定