ZooKeeper

ZooKeeper 的详细设计 ZooKeeper 是一个分布式协调服务，用于管理分布式系统中的配置信息、命名服务、分布式锁和集群管理。其核心目标是提供高可用性、一致性和顺序一致性。以下是 ZooKeeper 的详细设计。 1. 架构设计 ZooKeeper 采用主从架构（Leader-Follower），由一组服务器组成，称为 ZK 集群。集群中包含以下角色： - Leader：负责处理所有写请求，并将变更广播给 Follower。 - Follower：接收来自 Leader 的变更消息，并参与投票过程。 - Observer（可选）：不参与投票，仅复制数据，用于提升读性能。所有节点共享相同的配置和状态，通过 Paxos 算法的变种（ZAB 协议）实现一致性。 2. 数据模型 ZooKeeper 使用类似文件系统的树形结构来组织数据，称为 ZNode（ZooKeeper Node）。每个 ZNode 可以存储少量数据（最大 1MB），并具有以下特性： - 持久性（Persistent）：即使客户端断开连接，数据仍保留。 - 临时性（Ephemeral）：当客户端会话结束时，节点自动删除。 - 有序性（Sequential）：在创建节点时，系统自动为其添加递增编号。 ZNode 支持版本控制，每次更新都会增加版本号，用于乐观锁机制。 3. 通信协议 ZooKeeper 使用自定义的二进制协议进行客户端与服务器之间的通信。主要特点包括： - 基于 TCP 的长连接。 - 请求/响应模式，支持异步操作。 - 消息包含类型（如 CREATE、DELETE、SET_DATA）、路径、数据和元数据。 4. 一致性协议（ZAB） ZooKeeper 使用 ZAB（ZooKeeper Atomic Broadcast）协议保证数据一致性。该协议分为两个阶段： - 选举阶段（Leader Election）：当集群启动或 Leader 失效时，通过投票选出新的 Leader。 - 消息广播阶段（Broadcasting）：Leader 将事务（Proposal）发送给 Follower，Follower 执行后返回确认（ACK），当多数节点确认后，事务被提交。 ZAB 保证了原子性、顺序性和容错能力。 5. 会话管理客户端通过建立会话（Session）与 ZooKeeper 交互。会话具有超时机制（默认 30 秒），若客户端在超时时间内未发送心跳，则会话失效，临时节点被删除。会话状态包括： - CONNECTING - CONNECTED - CLOSED - EXPIRED 6. Watch 机制 ZooKeeper 提供轻量级的监听机制（Watch），允许客户端注册对 ZNode 的事件监听。当节点发生变更（如数据变化、子节点增减、节点删除）时，客户端会收到通知。 Watch 机制具有以下特点： - 一次性触发：触发后即失效，需重新注册。 - 异步通知：通过事件队列传递。 - 本地缓存：客户端维护本地副本，减少网络开销。 7. 安全机制 ZooKeeper 支持基于 ACL（Access Control List）的权限控制，可以为每个 ZNode 设置访问策略，例如： - READ：允许读取数据。 - WRITE：允许修改数据。 - CREATE：允许创建子节点。 - DELETE：允许删除节点。 - ADMIN：允许设置 ACL。此外，支持 SASL 认证和 TLS 加密传输，保障通信安全。 8. 高可用性与容错 ZooKeeper 集群通常部署奇数个节点（如 3、5、7），以确保多数派决策。只要超过半数节点可用，系统即可正常运行。故障恢复流程： - 当 Leader 故障时，Follower 会发起新一轮选举。 - 新 Leader 启动后，同步缺失的数据至其他节点。 - 客户端自动重连到新 Leader。 9. 性能优化 - 读操作直接由本地节点处理，无需同步。 - 写操作需要多数节点确认，但可通过 Observer 分担读负载。 - 使用内存数据库（In-Memory Data Store）提高访问速度。 - 日志和快照定期持久化，保证数据可靠性。 10. 应用场景 ZooKeeper 常用于以下场景： - 分布式锁（Distributed Lock） - 配置中心（Configuration Management） - 服务发现（Service Discovery） - 集群协调（Leader Election） - 分布式队列（Distributed Queue）总结 ZooKeeper 通过简洁的 API 和强大的一致性保障，成为构建可靠分布式系统的基石。其设计兼顾性能、可用性和易用性，适用于大规模分布式环境。

序言

文件系统

Google 文件系统（GFS）

Google Colossus 文件系统

Facebook 的 Tectonic 文件系统

数据库

Google Bigtable

Google Megastore

Google Spanner

键值存储

多核键值存储

扩展 Memcache

SILT

Amazon DynamoDB

并发管理

两阶段锁（2PL）

Google Chubby 锁服务

大数据处理：批处理到流处理

MapReduce

Spark

Kafka

共识

理解共识：两将军问题、FLP 不可能定理与拜占庭将军问题

两阶段提交

状态机复制

Paxos

Raft

尾声

ZooKeeper 系统设计深度解析

ZooKeeper 系统设计深度解析

课程内容已锁定