Hexo

点滴积累 豁达处之

0%

zookeeper常规配置和使用

Posted on Edited on In
zookeeper

zookeeper常规配置和使用

部署与常规配置

zookeeper 基于JAVA开发，下载后只要有对应JVM环境即可运行。其默认的端口号是2181运行前得保证其不冲突。
文件说明：

  • apache-zookeeper-xxx-tar.gz 代表源代码
  • apache-zookeeper-xxx-bin.tar.gz 运行版本

下载地址：https://zookeeper.apache.org/releases.html#download
具体部署流程：

1
2
3
4
5
6
7
8
9
#下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/current/apache-zookeeper-3.5.5-bin.tar.gz
#解压
tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
#拷贝默认配置
cd  {zookeeper_home}/conf 
cp zoo_sample.cfg zoo.cfg
#启动
 {zookeeper_home}/bin/zkServer.sh

常规配置文件说明：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# zookeeper时间配置中的基本单位 (毫秒)
tickTime=2000
# 允许follower初始化连接到leader最大时长，它表示tickTime时间倍数 即:initLimit*tickTime
initLimit=10
# 允许follower与leader数据同步最大时长,它表示tickTime时间倍数 
syncLimit=5
#zookeper 数据存储目录
dataDir=/tmp/zookeeper
#对客户端提供的端口号
clientPort=2181
#单个客户端与zookeeper最大并发连接数
maxClientCnxns=60
# 保存的数据快照数量，之外的将会被清除
autopurge.snapRetainCount=3
#自动触发清除任务时间间隔，小时为单位。默认为0，表示不自动清除。
autopurge.purgeInterval=1

客户端命令：

基本命令列表
close **
关闭当前会话
**connect host:port **
重新连接指定Zookeeper服务
**create [-s] [-e] [-c] [-t ttl] path [data] [acl]
创建节点
delete [-v version] path
删除节点，(不能存在子节点）
deleteall path
删除路径及所有子节点
setquota -n|-b val path
设置节点限额 -n 子节点数 -b 字节数
listquota path
查看节点限额
delquota [-n|-b] path
删除节点限额
get [-s] [-w] path
查看节点数据 -s 包含节点状态 -w 添加监听
getAcl [-s] path
ls [-s] [-w] [-R] path
列出子节点 -s状态 -R 递归查看所有子节点 -w 添加监听
printwatches on|off
是否打印监听事件
quit **
退出客户端
**history **
查看执行的历史记录
**redo cmdno
重复 执行命令，history 中命令编号确定
removewatches path [-c|-d|-a] [-l]
删除指定监听
set [-s] [-v version] path data
设置值
setAcl [-s] [-v version] [-R] path acl
为节点设置ACL权限
stat [-w] path
查看节点状态 -w 添加监听
sync path
强制同步节点

node数据的增删改查

1
2
3
4
5
6
7
8
9
10
11
12
# 列出子节点 
ls /
#创建节点
create /chen "jiumao"
# 查看节点
get /xiaochen
# 创建子节点 
create /chen/xiaochen "man"
# 删除节点
delete /chen/xiaochen
# 删除所有节点 包括子节点
deleteall /chen

Zookeeper节点介绍

知识点：

  1. 节点类型
  2. 节点的监听(watch)
  3. 节点属性说明(stat)
  4. 权限设置(acl)

zookeeper 中节点叫znode存储结构上跟文件系统类似，以树级结构进行存储。不同之外在于znode没有目录的概念，不能执行类似cd之类的命令。znode结构包含如下：

  • path:唯一路径
  • childNode：子节点
  • stat:状态属性
  • type:节点类型

    节点类型

    类型 描述
    PERSISTENT 持久节点
    PERSISTENT_SEQUENTIAL 持久序号节点
    EPHEMERAL 临时节点(不可在拥有子节点)
    EPHEMERAL_SEQUENTIAL 临时序号节点(不可在拥有子节点)
  1. PERSISTENT（持久节点）

持久化保存的节点，也是默认创建的

1
2
#默认创建的就是持久节点
create /test
  1. PERSISTENT_SEQUENTIAL(持久序号节点)

创建时zookeeper 会在路径上加上序号作为后缀，。非常适合用于分布式锁、分布式选举等场景。创建时添加 -s 参数即可。

1
2
3
4
5
6
7
#创建序号节点
create -s /test
#返回创建的实际路径
Created /test0000000001
create -s /test
#返回创建的实际路径2
Created /test0000000002
  1. EPHEMERAL（临时节点）

临时节点会在客户端会话断开后自动删除。适用于心跳，服务发现等场景。创建时添加参数-e 即可。

1
2
#创建临时节点， 断开会话 在连接将会自动删除
create -e /temp
  1. EPHEMERAL_SEQUENTIAL（临时序号节点）

与持久序号节点类似，不同之处在于EPHEMERAL_SEQUENTIAL是临时的会在会话断开后删除。创建时添加 -e -s 

1
create -e -s /temp/seq

节点属性

1
2
# 查看节点属性
stat /luban

其属性说明如下表：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
#创建节点的事物ID
cZxid = 0x385
#创建时间
ctime = Tue Sep 24 17:26:28 CST 2019
#修改节点的事物ID
mZxid = 0x385
#最后修改时间
mtime = Tue Sep 24 17:26:28 CST 2019
# 子节点变更的事物ID
pZxid = 0x385
#这表示对此znode的子节点进行的更改次数（不包括子节点）
cversion = 0
# 数据版本，变更次数
dataVersion = 0
#权限版本，变更次数
aclVersion = 0
#临时节点所属会话ID
ephemeralOwner = 0x0
#数据长度
dataLength = 17
#子节点数(不包括子子节点)
numChildren = 0

节点的监听：

客户添加 -w 参数可实时监听节点与子节点的变化，并且实时收到通知。非常适用保障分布式情况下的数据一至性。其使用方式如下：
| 命令 | 描述 |
|:—-|:—-|
| ls -w path | 监听子节点的变化（增，删） |
| get -w path | 监听节点数据的变化 |
| stat -w path | 监听节点属性的变化 |
| printwatches on|off | 触发监听后，是否打印监听事件(默认on) |

acl权限设置

ACL全称为Access Control List（访问控制列表），用于控制资源的访问权限。ZooKeeper使用ACL来控制对其znode的防问。基于scheme:id:permission的方式进行权限控制。scheme表示授权模式、id模式对应值、permission即具体的增删改权限位。

scheme:认证模型
| 方案 | 描述 |
|:—-|:—-|
| world | 开放模式，world表示全世界都可以访问（这是默认设置） |
| ip | ip模式，限定客户端IP防问 |
| auth | 用户密码认证模式，只有在会话中添加了认证才可以防问 |
| digest | 与auth类似，区别在于auth用明文密码，而digest 用sha-1+base64加密后的密码。在实际使用中digest 更常见。 |

permission权限位

权限位 权限 描述
c CREATE 可以创建子节点
d DELETE 可以删除子节点（仅下一级节点）
r READ 可以读取节点数据及显示子节点列表
w WRITE 可以设置节点数据
a ADMIN 可以设置节点访问控制列表权限

acl 相关命令：
| 命令 | 使用方式 | 描述 |
|:—-|:—-|:—-|
| getAcl | getAcl | 读取ACL权限 |
| setAcl | setAcl | 设置ACL权限 |
| addauth | addauth | 添加认证用户 |

world权限**示例**
语法： setAcl world:anyone:<权限位>
注：world模式中anyone是唯一的值,表示所有人

  1. 查看默认节点权限：

    1
    2
    3
    4
    5
    6
    #创建一个节点
    create -e /testAcl
    #查看节点权限
    getAcl /testAcl
    #返回的默认权限表示 ，所有人拥有所有权限。
    'world,'anyone: cdrwa

  2. 修改默认权限为 读写

    1
    2
    3
    4
    5
    6
    7
    8
    #设置为rw权限 
    setAcl /testAcl world:anyone:rw
    # 可以正常读
    get /testAcl
    # 无法正常创建子节点
    create -e /testAcl/t "hi"
    # 返回没有权限的异常
    Authentication is not valid : /testAcl/t

IP权限示例：
语法： setAcl ip:<ip地址|地址段>:<权限位>

auth模式示例:
语法：

  1. setAcl auth:<用户名>:<密码>:<权限位>
  2. addauth digest <用户名>:<密码>

digest 权限示例：
语法：

  1. setAcl digest :<用户名>:<密钥>:<权限位>
  2. addauth digest <用户名>:<密码>

注1：密钥 通过sha1与base64组合加密码生成，可通过以下命令生成

1
echo -n <用户名>:<密码> | openssl dgst -binary -sha1 | openssl base64

注2：为节点设置digest 权限后，访问前必须执行addauth，当前会话才可以防问。

  1. 设置digest 权限

    1
    2
    3
    4
    5
    6
    #先 sha1 加密，然后base64加密
    echo -n chen:123456 | openssl dgst -binary -sha1 | openssl base64
    #返回密钥
    2Rz3ZtRZEs5RILjmwuXW/wT13Tk=
    #设置digest权限
    setAcl /chen digest:luban:2Rz3ZtRZEs5RILjmwuXW/wT13Tk=:cdrw

  2. 查看节点将显示没有权限

    1
    2
    3
    4
    #查看节点
    get /chen
    #显示没有权限访问
    org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /chen

  3. 给当前会话添加认证后在次查看

    1
    2
    3
    4
    5
    6
    #给当前会话添加权限帐户
    addauth digest chen:123456
    #在次查看
    get /chen
    #获得返回结果
    chen

ACL的特殊说明：
权限仅对当前节点有效，不会让子节点继承。如限制了IP防问A节点，但不妨碍该IP防问A的子节点 /A/B。

集群搭建

Step1：配置JAVA环境，检验环境：保证是jdk7 及以上即可 

1
java ‐version

Step2：下载并解压zookeeper 

1
2
3
wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper‐3.5.8/apache‐zookeep er‐3.5.8‐bin.tar.gz
tar ‐zxvf apache‐zookeeper‐3.5.8‐bin.tar.gz
cd apache‐zookeeper‐3.5.8‐bin

Step3：重命名 zoo_sample.cfg文件 

1
cp conf/zoo_sample.cfg conf/zoo1.cfg

Step4：修改配置文件zoo1.cfg，原配置文件里有的，修改成下面的值，没有的则加上 

1
2
3
4
5
6
7
8
vim conf/zoo1.cfg

dataDir=/usr/local/project/zkdata/zk1
clientPort=2181 
server.1=127.0.0.1:2001:3001:participant// participant 可以不用写，默认就是part icipant 
server.2=127.0.0.1:2002:3002:participant 
server.3=127.0.0.1:2003:3003:participant 
server.4=127.0.0.1:2004:3004:observer

配置说明

  • tickTime：用于配置Zookeeper中最小时间单位的长度，很多运行时的时间间隔都是 使用tickTime的倍数来表示的。

  • initLimit：该参数用于配置Leader服务器等待Follower启动，并完成数据同步的时 间。Follower服务器再启动过程中，会与Leader建立连接并完成数据的同步，从而确定自 己对外提供服务的起始状态。Leader服务器允许Follower再initLimit 时间内完成这个工 作。

  • syncLimit：Leader 与Follower心跳检测的最大延时时间

  • dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将 写数据的日志文件也保存在这个目录里。

  • clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监 听这个端口，接受客户端的访问请求。

  • server.A=B：C：D：E 其中 A 是一个数字，表示这个是第几号服务器；B 是这个服 务器的 ip 地址；C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新 的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配 置方式，由于 B 都是一样，所以不同的 Zookeeper 实例通信端口号不能一样，所以要给 它们分配不同的端口号。如果需要通过添加不参与集群选举以及事务请求的过半机制的 Observer节点，可以在E的位置，添加observer标识。

Step5：再从zoo1.cfg复制三个配置文件zoo2.cfg，zoo3.cfg和zoo4.cfg，只需修改 dataDir和clientPort不同即可 

1
2
3
4
5
6
7
8
9
10
11
12
13
cp conf/zoo1.cfg conf/zoo2.cfg 
cp conf/zoo1.cfg conf/zoo3.cfg 
cp conf/zoo1.cfg conf/zoo4.cfg

vim conf/zoo2.cfg 
dataDir=/usr/local/data/zookeeper2 
clientPort=2182
vim conf/zoo3.cfg
dataDir=/usr/local/data/zookeeper3 
clientPort=2183 
vim conf/zoo4.cfg 
dataDir=/usr/local/data/zookeeper4 
clientPort=2184

Step6：标识Server ID

创建四个文件夹/usr/local/project/zkdata/zk1，/usr/local/project/zkdata/zk2，/usr/local/project/zkdata/zk3，/usr/local/project/zkdata/zk4，在每个目录中创建文件 myid 文件，写入当前实例的server id，即1，2，3，4 

1
2
3
4
5
cd /usr/local/project/zkdata
echo 1 > ./zk1/myid
echo 2 > ./zk2/myid
echo 3 > ./zk3/myid
echo 4 > ./zk4/myid

Step7：启动zookeeper实例

1
2
3
4
bin/zkServer.sh start conf/zoo1.cfg 
bin/zkServer.sh start conf/zoo2.cfg 
bin/zkServer.sh start conf/zoo3.cfg
bin/zkServer.sh start conf/zoo4.cfg

Step8：检测集群状态，也可以直接用命令 zkServer.sh status conf/zoo1.cfg 进行每台服务 的状态查询

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
[root@izm5e7klp5h59pozbv3fghz apache-zookeeper-3.5.8-bin]# bin/zkServer.sh status conf/zoo1.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo1.cfg
Client port found: 2181. Client address: localhost.
Mode: follower
[root@izm5e7klp5h59pozbv3fghz apache-zookeeper-3.5.8-bin]# bin/zkServer.sh status conf/zoo2.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo2.cfg
Client port found: 2182. Client address: localhost.
Mode: leader
[root@izm5e7klp5h59pozbv3fghz apache-zookeeper-3.5.8-bin]# bin/zkServer.sh status conf/zoo3.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo3.cfg
Client port found: 2183. Client address: localhost.
Mode: follower

启动客户端

1
bin/zkCli.sh -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183,127.0.0.1:2184