# zookeeper 学习
# 一、zookeeper 入门
# 1.1 概述
-- 理解 | |
1) Apache一个分布式项目; | |
2)是一个基于观察者模式设计的分布服务管理框架,负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦数据发生变化,则zookeeper通知观察者。 | |
-- zookeeper = 文件系统 + 通知机制。 |
# 1.2 zookeeper 特点
-- 特点 | |
1) 每一节点都有一个不重复的myid标识zookeeper集群; | |
2) 一个领导者(leader) 和 n 个追随者 (follower)组成的集群; | |
3) 集群只要有半数以上的节点存活就能对外提供服务,即使是在leader失败的情况下;-- 半数机制 | |
4) 根据半数机制,可知一般搭建奇数台的机器是有优势的; | |
假设是4台,半数为2,故障一台,还有3台,3 > 2 ,所以继续提供服务,再故障一台,剩下2台, 2 > 2 ,错误,此时,不再对外提供服务; | |
假设是 3台,半数为 1.5 ,故障1台,还有2台, 2 > 1.5 , 所以继续提供服务,再故障一台,剩下1台, 1 > 1.5 ,错误,此时不再对外提供服务。 | |
综上,4台机器,允许故障1台,3台机器,也允许故障一台,所以奇数台机器有优势。 | |
5) 全局数据一致:所有节点的数据是保持一致的,所以客户端无论连接到哪台机器,获取的数据都是一样的; -- 基于 zab 机制; | |
6) 更新请求按照顺序执行; | |
7) 数据更新的原子性:要么成功,要么失败; | |
8) 实时性: 在一定时间范围内,client能够获得最新的数据。 |
# 1.3 zookeeper 数据结构
1) 与linux文件结构相似,也是一个根目录。整体呈一颗树的形状; | |
2) 每一个节点称作一个znode,每一个znode可以存储1M的数据; | |
3) 每个znode通过其路径进行唯一标识。 |
# 1.4 应用场景
1) 统一命名服务; | |
2) 统一配置管理; | |
3) 服务器节点动态上下线; | |
4) 软负载均衡。 |
# 1.5 配置参数解读
1)tickTime =2000:通信心跳数,Zookeeper服务器与客户端心跳时间,单位毫秒 | |
Zookeeper使用的基本时间,服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个tickTime时间就会发送一个心跳,时间单位为毫秒。 | |
它用于心跳机制,并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime) | |
2)initLimit =10:LF初始通信时限 | |
集群中的Follower跟随者服务器与Leader领导者服务器之间初始连接时能容忍的最多心跳数(tickTime的数量),用它来限定集群中的Zookeeper服务器连接到Leader的时限。 | |
3)syncLimit =5:LF同步通信时限 | |
集群中Leader与Follower之间的最大响应时间单位,假如响应超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。 | |
4)dataDir:数据文件目录+数据持久化路径 | |
主要用于保存Zookeeper中的数据。 | |
5)clientPort =2181:客户端连接端口 | |
监听客户端连接的端口。 |
1.6 zookeeper 的四字命令
需要在Zookeeper的配置文件/opt/module/zookeeper-3.5.7/conf/zoo.cfg中加入如下配置: | |
4lw.commands.whitelist=* | |
-- 语法: | |
连接方式: nc 机器名 端口号 (如果nc功能没有,则使用yum进行安装) | |
-- 示例: | |
nc hadoop102 2181 |
ruok | 测试服务是否长度处于正确状态,如果确实如此,那么服务返回 imok , 否则不做任何响应。 |
---|---|
conf | 3.3.0 版本引入的,打印出服务相关配置的详细信息 |
cons | 列出所有连接到这台服务器的客户端全部会话详细信息。包括 接收 / 发送的包数量,会话 id,操作延迟、最后的操作执行等等信息 |
crst | 重置所有连接的连接和会话统计信息 |
dump | 列出那些比较重要的会话和临时节点。这个命令只能在 leader 节点上有用 |
envi | 打印出服务环境的详细信息 |
# 二、zookeeper 内部原理
# 2.1 节点类型
分为持久性和短暂性节点。 | |
1) 持久性:客户端与服务器断开连接以后,创建的节点不删除; | |
-- 分为带序号的持久性节点和不带序号的持久性节点。 | |
2) 短暂性:客户端与服务器断开连接以后,创建的节点删除; | |
-- 分为带序号的短暂性节点和不带序号的短暂性节点。 | |
-- 如何理解带序号的呢? | |
1) 在zk分布系统中,顺序号用于为所有事物进行全局排序,这样客户端根据顺序号推测事件的顺序。 | |
2) 顺序号是指当前节点下的节点数量,不可重复使用。如之前已经创建了一个节点,但是现在将其进行删除,再创建一个节点,顺序号是往后进行累加。 | |
-- 说明 | |
1) 短暂节点下不能创建子节点; | |
2) 一个节点包含该节点的具体存储的内容和子节点的元数据信息。 |
# 2.2 Stat 结构体
1)czxid-创建节点的事务zxid | |
每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。 | |
事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。 | |
2)ctime 被创建的毫秒数(从1970年开始) | |
3)mzxid 最后更新的事务zxid | |
4)mtime 最后修改的毫秒数(从1970年开始) | |
5)pZxid-znode最后更新的子节点zxid | |
6)cversion 子节点变化号,znode子节点修改次数 | |
7)dataversion 数据变化号 | |
8)aclVersion 访问控制列表的变化号 | |
9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。 | |
10)dataLength 数据长度 | |
11)numChildren 子节点数量 |
# 2.3 监听器原理(重点)
监听原理详解: | |
1) 首先有一个main()线程; | |
2) 在main线程中创建zookeeper客户端,这时就会有两个线程,一个负责网络通信(connet),一个负责监听(listener); | |
3) 通过connect线程将注册的监听事件发送给zookeeper; | |
4) 在zookeeper的注册监听器列表中将注册的监听事件添加到列表中; | |
5) zookeeper监听到有数据或者是路径发生变化时,就会将这个消息发送到listener线程; | |
6) listener线程内部调用process方法(); |
# 2.4 选举机制(重点)
总结:选举机制由节点启动的顺序、myid、数据的zxid、服务器的数量有关。 | |
大致顺序为: | |
1)zxid大的当选(99%情况下都是相等的); | |
2)根据节点启动的顺序,比较myid,在未到达半数的服务器数量以前,所有节点的票都将投给myid大的服务器,一旦到达了半数以上的服务器被启动(此时可以对外提供服务)时,myid最大的节点当选leader,其余的服务器为follower。 |
# 2.5 写数据流程
1) Client 向zookeeper申请写数据,发送一个写请求; | |
2) 如果这个服务器不是leader,则该服务器将接收到的请求转发给leader; | |
3) leader将这个写的请求广播给所有的follower服务器,所有的服务器将写的事件写入队列中,并向leader发送准备就绪的成功消息; | |
4) 当leader收到了半数以上的服务器返回了成功的消息以后,则说明该写的操作可以执行,则leader向所有的follower发送提交消息,所有的服务器收到信息以后则执行队列中的写操作; | |
5) 对应的服务器完成写操作以后会通知client,数据写入成功。 |
# 三、zookeeper 实战部署
# 3.1 客户端命令行操作
1)help : 显示所有的操作指令; | |
2)ls path : 使用ls命令来查看当前znode的子节点 | |
-w :监听子节点变化(只能监听一次) | |
3) 查看当前目录下的详细信息: | |
ls -s path / ls2 path / stat path | |
4) create 创建节点 (默认创建的是:持久性无顺序号的节点) | |
-s 含顺序号 | |
-e 临时的 | |
5) get path : 获得节点的值 | |
-w 监听节点内容变化 | |
6) set path :设置节点具体的值 | |
8) delete : 删除节点 | |
9) deleteall:递归删除节点。 |
# 3.2 API 应用
- 创建 Maevn Modle
- 添加 pom 文件
<dependencies> | |
<dependency> | |
<groupId>junit</groupId> | |
<artifactId>junit</artifactId> | |
<version>RELEASE</version> | |
</dependency> | |
<dependency> | |
<groupId>org.apache.logging.log4j</groupId> | |
<artifactId>log4j-core</artifactId> | |
<version>2.8.2</version> | |
</dependency> | |
<!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper --> | |
<dependency> | |
<groupId>org.apache.zookeeper</groupId> | |
<artifactId>zookeeper</artifactId> | |
<version>3.5.7</version> | |
</dependency> | |
</dependencies> |
- 需要在项目的 src/main/resources 目录下,新建一个文件,命名为 “log4j.properties”,在文件中填入
log4j.rootLogger=INFO, stdout | |
log4j.appender.stdout=org.apache.log4j.ConsoleAppender | |
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout | |
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n | |
log4j.appender.logfile=org.apache.log4j.FileAppender | |
log4j.appender.logfile.File=target/spring.log | |
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout | |
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n |
- 创建 zookeeper 客户端
private static String connectString ="hadoop102:2181,hadoop103:2181,hadoop104:2181"; | |
private static int sessionTimeout = 2000; | |
private ZooKeeper zkClient = null; | |
@Before | |
public void init() throws Exception { | |
zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() { | |
@Override | |
public void process(WatchedEvent event) { | |
// 收到事件通知后的回调函数(用户的业务逻辑) | |
System.out.println(event.getType() + "--" + event.getPath()); | |
// 再次启动监听 | |
try { | |
zkClient.getChildren("/", true); | |
} catch (Exception e) { | |
e.printStackTrace(); | |
} | |
} | |
}); | |
} | |
} |
- 创建子节点
// 创建子节点 | |
@Test | |
public void create() throws Exception { | |
// 参数 1:要创建的节点的路径; 参数 2:节点数据 ; 参数 3:节点权限 ;参数 4:节点的类型 | |
String nodeCreated = zkClient.create("/miyazono", "jinlian".getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); | |
} |
- 获取子节点并监听节点变化
// 获取子节点 | |
@Test | |
public void getChildren() throws Exception { | |
List<String> children = zkClient.getChildren("/", true); | |
for (String child : children) { | |
System.out.println(child); | |
} | |
// 延时阻塞 | |
Thread.sleep(Long.MAX_VALUE); | |
} |
- 判断 zonde 是否存在
// 判断 znode 是否存在 | |
@Test | |
public void exist() throws Exception { | |
Stat stat = zkClient.exists("/eclipse", false); | |
System.out.println(stat == null ? "not exist" : "exist"); | |
} |
# 3.3 监听服务器节点动态上下线案例
服务器端向 Zookeeper 注册代码
package com.miyazono.zkcase; | |
package com.miyazono.zookeeper; | |
import org.apache.zookeeper.*; | |
import org.apache.zookeeper.data.Stat; | |
import java.io.IOException; | |
/** | |
* 当服务器上线后, 将当前服务器对应的信息写到 zk 中 | |
*/ | |
public class Server { | |
private String connectionString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; | |
private int sessionTimeOut = 10000; | |
private ZooKeeper zkClient = null ; | |
private String parentNode = "/servers"; | |
public static void main(String[] args) throws Exception { | |
Server server = new Server (); | |
//1. 初始化 zk 客户端对象 | |
server.init(); | |
//2. 判断 zk 中存储服务器信息的 Znode 是否存在 | |
server.parentNodeExists(); | |
//3. 将服务器的信息写入到 zk 中 | |
server.writeServer(args); | |
//4. 保持线程不结束 | |
Thread.sleep(Long.MAX_VALUE); | |
} | |
/** | |
* args 中包含两个数据: | |
* 1. server 的名字 | |
* 2. server 的信息 | |
* @param args | |
*/ | |
private void writeServer(String [] args) throws KeeperException, InterruptedException { | |
String s = | |
zkClient.create(parentNode + "/" + args[0], args[1].getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL); | |
System.out.println("*********** "+ s +"is on line ************"); | |
} | |
//2. 判断 zk 中存储服务器信息的 Znode 是否存在 | |
private void parentNodeExists() throws KeeperException, InterruptedException { | |
Stat stat = zkClient.exists(parentNode, false); | |
if(stat == null){ | |
// 创建节点 | |
zkClient.create(parentNode,"servers".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT); | |
} | |
} | |
//1. 初始化 zk 客户端对象 | |
private void init() throws IOException { | |
zkClient = new ZooKeeper(connectionString, sessionTimeOut, new Watcher() { | |
@Override | |
public void process(WatchedEvent event) { | |
} | |
}); | |
} | |
} |
客户端代码
package com.miyazono.zkcase; | |
import java.io.IOException; | |
import java.util.ArrayList; | |
import java.util.List; | |
import org.apache.zookeeper.WatchedEvent; | |
import org.apache.zookeeper.Watcher; | |
import org.apache.zookeeper.ZooKeeper; | |
public class DistributeClient { | |
private static String connectString = "hadoop102:2181,hadoop103:2181,hadoop104:2181"; | |
private static int sessionTimeout = 2000; | |
private ZooKeeper zk = null; | |
private String parentNode = "/servers"; | |
// 创建到 zk 的客户端连接 | |
public void getConnect() throws IOException { | |
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() { | |
@Override | |
public void process(WatchedEvent event) { | |
// 再次启动监听 | |
try { | |
getServerList(); | |
} catch (Exception e) { | |
e.printStackTrace(); | |
} | |
} | |
}); | |
} | |
// 获取服务器列表信息 | |
public void getServerList() throws Exception { | |
// 1 获取服务器子节点信息,并且对父节点进行监听 | |
List<String> children = zk.getChildren(parentNode, true); | |
// 2 存储服务器信息列表 | |
ArrayList<String> servers = new ArrayList<>(); | |
// 3 遍历所有节点,获取节点中的主机名称信息 | |
for (String child : children) { | |
byte[] data = zk.getData(parentNode + "/" + child, false, null); | |
servers.add(new String(data)); | |
} | |
// 4 打印服务器列表信息 | |
System.out.println(servers); | |
} | |
// 业务功能 | |
public void business() throws Exception{ | |
System.out.println("client is working ..."); | |
Thread.sleep(Long.MAX_VALUE); | |
} | |
public static void main(String[] args) throws Exception { | |
// 1 获取 zk 连接 | |
DistributeClient client = new DistributeClient(); | |
client.getConnect(); | |
// 2 获取 servers 的子节点信息,从中获取服务器信息列表 | |
client.getServerList(); | |
// 3 业务进程启动 | |
client.business(); | |
} | |
} |