初识ZooKeeper与集群搭建实例,zookeeper本地伪集群

作者: 单机游戏资讯  发布:2019-06-10

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,ZooKeeper是以Fast Paxos算法为基础,实现同步服务,配置维护和命名服务等分布式应用。

原文链接:

上篇文章我们实现了本地dubbo 和zookeeper服务的搭建,下面我们在来看看本地伪集群实现!!!

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。核心词就是一个,协调。

zookeeper是什么

集群的配置和单个的配置主要的区别在于zookeeper的配置文件和服务提供者,服务消费者的配置文件其他的都是一样的,这篇文章我就不写了因为在网上看到过一篇文章讲解的很清楚,我们就来看看这篇文章吧

图片 1

Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。

ZooKeeper集群搭建实例,以及集成dubbo时的配置

下面实践安装来学习下,分为独立部署、集群部署

zookeeper是一个由多个service组成的集群,一个leader,多个follower,每个server保存一份数据部分,全局数据一致,分布式读写,更新请求转发由leader实施.

zookeeper是什么:

一、下载安装

更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行,数据更新原子性,一次数据更新要么成功,要么失败,全局唯一数据试图,client无论连接到哪个server,数据试图是一致的.

初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。Zookeeper,一种分布式应用的协作服务,是Google的Chubby一个开源的实现,是Hadoop的分布式协调服务,它包含一个简单的原语集,应用于分布式应用的协作服务,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。

wget -c

为什么要用zookeeper

zookeeper是一个由多个service组成的集群,一个leader,多个follower,每个server保存一份数据部分,全局数据一致,分布式读写,更新请求转发由leader实施.

 tar zxvf zookeeper-3.4.6.tar.gz

大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等),目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制.协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器,ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用

初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行,数据更新原子性,一次数据更新要么成功,要么失败,全局唯一数据试图,client无论连接到哪个server,数据试图是一致的.

 可以指定放在哪个目录,如usr/local

zookeeper工作原理

为什么要用zookeeper

 mkdir  /usr/local/zookeeper-3.4.6

zookeeper的核心是原子广播,这个机制保证了各个server之间的同步,实现这个机制的协议叫做Zab协议.Zab协议有两种模式,他们分别是恢复模式和广播模式.

大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等),目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制.协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器,ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用

二、独立部署配置

  1.当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导着被选举出来,且大多数server都完成了和leader的状态同步后,恢复模式就结束了.状态同步保证了leader和server具有相同的系统状态.

zookeeper工作原理

初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。 1、编辑zookeeper-3.4.6/conf 下的zoo_sample.cfg文件, 这个文件里面配置了监听客户端连接的端口等一些信息,Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。

  2.一旦leader已经和多数的follower进行了状态同步后,他就可以开始广播消息了,即进入广播状态.这时候当一个server加入zookeeper服务中,它会在恢复模式下启动,发下leader,并和leader进行状态同步,待到同步结束,它也参与广播消息.

zookeeper的核心是原子广播,这个机制保证了各个server之间的同步,实现这个机制的协议叫做Zab协议.Zab协议有两种模式,他们分别是恢复模式和广播模式.

     在zookeeper-3.4.6/conf目录下复制一个名称为zoo.cfg的文件:

说明:

1.当服务启动或者在领导者崩溃后,Zab就进入了恢复模式,当领导着被选举出来,且大多数server都完成了和leader的状态同步后,恢复模式就结束了.状态同步保证了leader和server具有相同的系统状态.

      cp zoo_sample.cfg zoo.cfg

    广播模式需要保证proposal被按顺序处理,因此zk采用了递增的事务id号(zxid)来保证.所有的提议(proposal)都在被提出的时候加上了zxid.实现中zxid是一个64为的数字,它高32位是epoch用来标识leader关系是否改变,每次一个leader被选出来,它都会有一个新的epoch.低32位是个递增计数.

2.一旦leader已经和多数的follower进行了状态同步后,他就可以开始广播消息了,即进入广播状态.这时候当一个server加入zookeeper服务中,它会在恢复模式下启动,发下leader,并和leader进行状态同步,待到同步结束,它也参与广播消息.

2、在zookeeper-3.4.6/bin目录启动Zookeeper服务:

    当leader崩溃或者leader失去大多数的follower,这时候zk进入恢复模式,恢复模式需要重新选举出一个新的leader,让所有的server都恢复到一个正确的状态.

说明:

    ./zkServer.sh start

    zookeeper服务一致维持在Broadcast状态,直到leader崩溃了或者leader失去了大部分的followers支持.

广播模式需要保证proposal被按顺序处理,因此zk采用了递增的事务id号(zxid)来保证.所有的提议(proposal)都在被提出的时候加上了zxid.实现中zxid是一个64为的数字,它高32位是epoch用来标识leader关系是否改变,每次一个leader被选出来,它都会有一个新的epoch.低32位是个递增计数.

 图片 2

    Broadcast模式极其类似于分布式事务中的2pc(two-phrase commit 两阶段提交):即leader提起一个决议,由followers进行投票,leader对投票结果进行计算决定是否通过该决议,如果通过执行该决议(事务),否则什么也不做.

当leader崩溃或者leader失去大多数的follower,这时候zk进入恢复模式,恢复模式需要重新选举出一个新的leader,让所有的server都恢复到一个正确的状态.

三、ZooKeeper集群部署配置

Leader选举

zookeeper服务一致维持在Broadcast状态,直到leader崩溃了或者leader失去了大部分的followers支持.

  1、ZooKeeper的集群模式下,多个Zookeeper服务器在工作前会选举出一个Leader,在接下来的工作中这个被选举出来的Leader死了,而剩下的Zookeeper服务器会知道这个Leader死掉了,  在活着的Zookeeper集群中会继续选出一个Leader,选举出Leader的目的是为了可以在分布式的环境中保证数据的一致性。 由于ZooKeeper集群中,会有一个Leader负责管理和协调其他集群服务器,因此服务器的数量通常都是单数,例如3,5,7...等,这样2n 1的数量的服务器就可以允许最多n台服务器的失效。

每个Server启动以后都询问其它的Server它要投票给谁,对于其他server的询问,server每次根据自己的状态都回复自己推荐的leader的id和上一次处理事务的zxid(系统启动时每个server都会推荐自己),收到所有Server回复以后,就计算出zxid最大的哪个Server,并将这个Server相关信息设置成下一次要投票的Server.计算这过程中获得票数最多的的sever为获胜者,如果获胜者的票数超过半数,则改server被选为leader.否则,继续这个过程,直到leader被选举出来.leader就会开始等待server连接,Follower连接leader,将最大的zxid发送给leader,Leader根据follower的zxid确定同步点,完成同步后通知follower 已经成为uptodate状态,Follower收到uptodate消息后,又可以重新接受client的请求进行服务了.

Broadcast模式极其类似于分布式事务中的2pc(two-phrase commit两阶段提交):即leader提起一个决议,由followers进行投票,leader对投票结果进行计算决定是否通过该决议,如果通过执行该决议(事务),否则什么也不做.

2、编写配置文件

zookeeper的数据模型

Leader选举

初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。配置文件需要在每台服务器中都要编写,以下是一个配置文件的样本:

层次化的目录结构,命名符合常规文件系统规范

每个Server启动以后都询问其它的Server它要投票给谁,对于其他server的询问,server每次根据自己的状态都回复自己推荐的leader的id和上一次处理事务的zxid(系统启动时每个server都会推荐自己),收到所有Server回复以后,就计算出zxid最大的哪个Server,并将这个Server相关信息设置成下一次要投票的Server.计算这过程中获得票数最多的的sever为获胜者,如果获胜者的票数超过半数,则改server被选为leader.否则,继续这个过程,直到leader被选举出来.leader就会开始等待server连接,Follower连接leader,将最大的zxid发送给leader,Leader根据follower的zxid确定同步点,完成同步后通知follower已经成为uptodate状态,Follower收到uptodate消息后,又可以重新接受client的请求进行服务了.

# Filename zoo.cfg

每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识

zookeeper的数据模型

tickTime=2000

节点Znode可以包含数据和子节点,但是EPHEMERAL类型的节点不能有子节点

层次化的目录结构,命名符合常规文件系统规范

dataDir=/var/zookeeper/

初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。初识ZooKeeper与集群搭建实例,zookeeper本地伪集群。Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据就需要带上版本

每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识

clientPort=2181

客户端应用可以在节点上设置监视器,节点不支持部分读写,而是一次性完整读写

节点Znode可以包含数据和子节点,但是EPHEMERAL类型的节点不能有子节点

initLimit=5

Zoopkeeper 提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型

Znode中的数据可以有多个版本,比如某一个路径下存有多个数据版本,那么查询这个路径下的数据就需要带上版本

syncLimit=2

Zookeeper的节点

客户端应用可以在节点上设置监视器,节点不支持部分读写,而是一次性完整读写

server.1=10.10.0.101:2888:3888

Znode有两种类型,短暂的(ephemeral)和持久的(persistent)

Zoopkeeper提供了一套很好的分布式集群管理的机制,就是它这种基于层次型的目录树的数据结构,并对树中的节点进行有效管理,从而可以设计出多种多样的分布式的数据管理模型

server.2=10.10.0.102:2888:3888

Znode的类型在创建时确定并且之后不能再修改

Zookeeper的节点

server.3=10.10.0.103:2888:3888

短暂znode的客户端会话结束时,zookeeper会将该短暂znode删除,短暂znode不可以有子节点

Znode有两种类型,短暂的(ephemeral)和持久的(persistent)

参数说明

持久znode不依赖于客户端会话,只有当客户端明确要删除该持久znode时才会被删除

Znode的类型在创建时确定并且之后不能再修改

tickTime:这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳

Znode有四种形式的目录节点,PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL.

短暂znode的客户端会话结束时,zookeeper会将该短暂znode删除,短暂znode不可以有子节点

dataDir:顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里

znode 可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,

持久znode不依赖于客户端会话,只有当客户端明确要删除该持久znode时才会被删除

clientPort:这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。

通过这个特性可以实现的功能包括配置的集中管理,集群管理,分布式锁等等.

Znode有四种形式的目录节点,PERSISTENT、PERSISTENT_SEQUENTIAL、EPHEMERAL、EPHEMERAL_SEQUENTIAL.

initLimit:配置 Zookeeper 接受客户端(指的是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。集群包含多台server, 其中一台为leader, 集群中其余的server为follower,follower和leader之间的最长心跳时间,如该参数设置为5,当已经超过 5 个心跳时间(即 tickTime),总时间长度是 5*2000=10 秒后 Zookeeper 服务器没有收到客户端的返回信息,那么表明这个客户端连接失败。

Zookeeper的角色

znode可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,

syncLimit:这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 2*2000=4 秒 

领导者(leader),负责进行投票的发起和决议,更新系统状态

通过这个特性可以实现的功能包括配置的集中管理,集群管理,分布式锁等等.

server.A=B:C:D:其中 A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号

学习者(learner),包括跟随者(follower)和观察者(observer).

Zookeeper的角色

3、创建myid文件

follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票

领导者(leader),负责进行投票的发起和决议,更新系统状态

   除了修改 zoo.cfg 配置文件,集群模式下还要配置一个文件 myid,这个文件在dataDir 目录下,这个文件里面就只有一个数据就是A (服务器对应的编号) 的值,Zookeeper 启动时会读取这个文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是那个 server。

Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度

学习者(learner),包括跟随者(follower)和观察者(observer).

4、执行运行脚本

客户端(client),请求发起方

follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票

    和单机模式下的运行方式基本相同,需要注意的地方就是要分别在不同服务器上执行一次,例如分别在101,102,103上运行:

Watcher

Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度

    ./zkServer.sh start

Watcher 在 ZooKeeper 是一个核心功能,Watcher 可以监控目录节点的数据变化以及子目录的变化,一旦这些状态发生变化,服务器就会通知所有设置在这个目录节点上的 Watcher,从而每个客户端都很快知道它所关注的目录节点的状态发生变化,而做出相应的反应

客户端(client),请求发起方

 这样才能使得整个集群启动起来。

可以设置观察的操作:exists,getChildren,getData

Watcher

四、伪集群方式配置部署

可以触发观察的操作:create,delete,setData

Watcher在ZooKeeper是一个核心功能,Watcher可以监控目录节点的数据变化以及子目录的变化,一旦这些状态发生变化,服务器就会通知所有设置在这个目录节点上的Watcher,从而每个客户端都很快知道它所关注的目录节点的状态发生变化,而做出相应的反应

  因条件限制,这里以伪集群方式部署运行

znode以某种方式发生变化时,“观察”(watch)机制可以让客户端得到通知.

可以设置观察的操作:exists,getChildren,getData

1、确认集群伪服务器的数量

可以针对ZooKeeper服务的“操作”来设置观察,该服务的其他 操作可以触发观察.

可以触发观察的操作:create,delete,setData

    2n 1,和之前的集群部署方式相同,比如我们这里用3台

比如,客户端可以对某个客户端调用exists操作,同时在它上面设置一个观察,如果此时这个znode不存在,则exists返回 false,如果一段时间之后,这个znode被其他客户端创建,则这个观察会被触发,之前的那个客户端就会得到通知.

znode以某种方式发生变化时,“观察”(watch)机制可以让客户端得到通知.

2、编写配置文件

Zookeeper集群搭建

可以针对ZooKeeper服务的“操作”来设置观察,该服务的其他 操作可以触发观察.

   在/conf文件夹新建三个配置文件,zoo1.cfg,zoo2.cfg以及zoo3.cfg

Zookeeper 不仅可以单机提供服务,同时也支持多机组成集群来提供服务,实际上Zookeeper还支持另外一种伪集群的方式,也就是可以在一台物理机上运行多个Zookeeper实例.

比如,客户端可以对某个客户端调用exists操作,同时在它上面设置一个观察,如果此时这个znode不存在,则exists返回false,如果一段时间之后,这个znode被其他客户端创建,则这个观察会被触发,之前的那个客户端就会得到通知.

  或  将zookeeper-3.4.6 对应目录复制三份

Zookeeper通过复制来实现高可用性,只要集合体中半数以上的机器处于可用状态,它就能够保证服务继续。

Zookeeper集群搭建

  如zookeeper-3.4.6-node1

集群容灾性:

Zookeeper不仅可以单机提供服务,同时也支持多机组成集群来提供服务,实际上Zookeeper还支持另外一种伪集群的方式,也就是可以在一台物理机上运行多个Zookeeper实例.

      zookeeper-3.4.6-node2

 3台机器只要有2台可用就可以选出leader并且对外提供服务(2n 1台机器,可以容n台机器挂掉)。

Zookeeper通过复制来实现高可用性,只要集合体中半数以上的机器处于可用状态,它就能够保证服务继续。

     zookeeper-3.4.6-node3

Zookeeper伪分布式环境搭建:

集群容灾性:

     分别配置conf下zoo.cfg文件

1、去Zookeeper官网下载最新版本的Zookeeper.

3台机器只要有2台可用就可以选出leader并且对外提供服务(2n 1台机器,可以容n台机器挂掉)。

 

[root@localhost zookeeper-cluster]# pwd
/export/search/zookeeper-cluster
[root@localhost zookeeper-cluster]# ls
zookeeper-3.4.6.tar.gz
[root@localhost zookeeper-cluster]#
[root@localhost zookeeper-cluster]# tar -zxvf zookeeper-3.4.6.tar.gz
#创建第一个集群节点
[root@localhost zookeeper-cluster]# mv zookeeper-3.4.6 zookeeper-3.4.6-node1
[root@localhost zookeeper-cluster]# cd zookeeper-3.4.6-node1
[root@localhost zookeeper-3.4.6-node1]# pwd
/export/search/zookeeper-cluster/zookeeper-3.4.6-node1
#创建数据存放路径
[root@localhost zookeeper-3.4.6-node1]# mkdir data
[root@localhost zookeeper-3.4.6-node1]# cd ../
#创建第二第三个集群节点
[root@localhost zookeeper-cluster]# cp zookeeper-3.4.6-node1 zookeeper-3.4.6-node2 -R
[root@localhost zookeeper-cluster]# cp zookeeper-3.4.6-node1 zookeeper-3.4.6-node3 -R
[root@localhost zookeeper-cluster]# ls
zookeeper-3.4.6-node1  zookeeper-3.4.6-node2  zookeeper-3.4.6-node3  zookeeper-3.4.6.tar.gz
[root@localhost zookeeper-cluster]# cd zookeeper-3.4.6-node1/conf/
[root@localhost conf]# ls
configuration.xsl  log4j.properties  zoo_sample.cfg
#创建zoo.cfg文件
[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

Zookeeper伪分布式环境搭建:

zookeeper-3.4.6-node1

2、配置zoo.cfg文件:

1、去Zookeeper官网下载最新版本的Zookeeper.

tickTime=2000

#zookeeper-3.4.6-node1的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node1/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

[root@localhost zookeeper-cluster]# pwd

initLimit=10

#zookeeper-3.4.6-node2的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2182
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node2/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

/export/search/zookeeper-cluster

syncLimit=5

#zookeeper-3.4.6-node3的配置
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2183
dataDir=/export/search/zookeeper-cluster/zookeeper-3.4.6-node3/data
server.1=localhost:2887:3887
server.2=localhost:2888:3888
server.3=localhost:2889:3889

[root@localhost zookeeper-cluster]# ls

dataDir=/usr/local/zookeeper-3.4.6-node1

参数说明:

zookeeper-3.4.6.tar.gz

本文由bg游戏资讯发布于单机游戏资讯,转载请注明出处:初识ZooKeeper与集群搭建实例,zookeeper本地伪集群

关键词: 单机 日记本 ZooKeeper 消息中间件