大数据运维：集群组件部署

1、ZooKeeper概述2、ZooKeeper工作原理3、数据一致性与paxos算法4、ZooKeeper数据模型5、其它说明6、ZooKeeper部署zookeeper分部ZooKeeper概述什么是zookeeperzookeeper官网描述“Apache ZooKeeper致力于开发和维护实现高度可靠的分布式协调的开源服务器”。什么意思呢就是Apache ZooKeeper的目标是开发和维护开源服务器这服务器是干什么的呢是做分布式协调的。这服务器的特点是什么呢是高度可靠的。由于zookeeper高度可靠应用界的大佬solr和大数据服务界的大佬Hadoop就是使用zookeeper提供集群管理。zookeeper的三种部署方式1独立部署模式即部署在单台机器上的一个zookeeper服务适用于学习、了解zookeeper基础功能。2伪分布模式即部署在一台机器上的多个原则上大于3个zookeeper服务虚拟分布式的zookeeper集群适用于学习、开发和测试不适用生产环境。3全分布式模式复制模式即在多台机器上部署zookeeper服务真正的集群模式适合于学习、开发和测试可投入到生产环境中使用。zookeeper术语Zookeeper术语包括角色、事务、原子广播、节点、状态术语zookeeper功能zookeeper功能ZooKeeper工作原理ZooKeeper数据流程1.在Client向Follwer发出一个写的请求2.Follwer把请求发送给Leader3.Leader接收到以后开始发起投票并通知Follwer进行投票4.Follwer把投票结果发送给Leader5.Leader将结果汇总后如果需要写入则开始写入同时把写入操作通知给Leader然后commit;6.Follwer把请求结果返回给Client数据流程Follower四个功能1向Leader发送请求PING消息、REQUEST消息、ACK消息、REVALIDATE消息2接收Leader消息并进行处理3接收Client的请求如果为写请求发送给Leader进行投票4返回Client结果。Follower的消息循环处理如下几种来自Leader的消息1PING消息 心跳消息2PROPOSAL消息Leader发起的提案要求Follower投票3COMMIT消息服务器端最新一次提案的信息4UPTODATE消息表明同步完成5REVALIDATE消息根据Leader的REVALIDATE结果关闭待revalidate的session还是允许其接受消息6SYNC消息返回SYNC结果到客户端这个消息最初由客户端发起用来强制得到最新的更新。zookeeper工作原理1、Zookeeper的核心是原子广播这个机制保证了各个server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式它们分别是恢复模式和广播模式。当服务启动或者在领导者崩溃后Zab就进入了恢复模式当领导者被选举出来且大多数server的完成了和leader的状态同步以后恢复模式就结束了。状态同步保证了leader和server具有相同的系统状态。2、一旦leader已经和多数的follower进行了状态同步后他就可以开始广播消息了即进入广播状态。这时候当一个server加入zookeeper服务中它会在恢复模式下启动发现leader并和leader进行状态同步。待到同步结束它也参与消息广播。Zookeeper服务一直维持在Broadcast状态直到leader崩溃了或者leader失去了大部分的followers支持。3、广播模式需要保证proposal被按顺序处理因此zk采用了递增的事务id号(zxid)来保证。所有的提议(proposal)都在被提出的时候加上了zxid。实现中zxid是一个64为的数字它高32位是epoch用来标识leader关系是否改变每次一个leader被选出来它都会有一个新的epoch。低32位是个递增计数。4、当leader崩溃或者leader失去大多数的follower这时候zk进入恢复模式恢复模式需要重新选举出一个新的leader让所有的server都恢复到一个正确的状态。5、每个Server启动以后都询问其它的Server它要投票给谁。6、对于其他server的询问server每次根据自己的状态都回复自己推荐的leader的id和上一次处理事务的zxid系统启动时每个server都会推荐自己。7、收到所有Server回复以后就计算出zxid最大的哪个Server并将这个Server相关信息设置成下一次要投票的Server。8、计算这过程中获得票数最多的的sever为获胜者如果获胜者的票数超过半数则改server被选为leader。否则继续这个过程直到leader被选举出来。9、leader就会开始等待server连接。10、Follower连接leader将最大的zxid发送给leader。11、Leader根据follower的zxid确定同步点。12、完成同步后通知follower 已经成为uptodate状态。13、Follower收到uptodate消息后又可以重新接受client的请求进行服务了。数据一致性与paxos算法保持数据一致性原则1、在一个分布式数据库系统中如果各节点的初始状态一致每个节点都执行相同的操作序列那么他们最后能得到一个一致的状态。2、master维护一个全局写队列所有写操作都必须放入这个队列编号那么无论我们写多少个节点只要写操作是按编号来的就能保证一致性。Paxos算法ZAB协议Paxos算法通过投票来对写操作进行全局编号同一时刻只有一个写操作被批准同时并发的写操作要去争取选票只有获得过半数选票的写操作才会被批准所以永远只会有一个写操作得到批准其他的写操作竞争失败只好再发起一轮投票就这样在日复一日年复一年的投票中所有写操作都被严格编号排序。编号严格递增当一个节点接受了一个 编号为100的写操作之后又接受到编号为99的写操作因为网络延迟等很多不可预见原因它马上能意识到自己数据不一致了自动停止对外服务并重启同步过程。任何一个节点挂掉都不会影响整个集群的数据一致性总2n1台除非挂掉大于n台。ZooKeeper数据模型数据模型1zookeeper的数据结构与linux文件系统很类似如右图所示。2和文件系统不同的是zk的数据存储的是结构化存储没有文件和目录的概念文件和目录被抽象成了节点node上图中的每个node称为znode 每个znode由三个部分组成stat 描述该znode的版本权限等信息。data与该znode关联的数据。children该znode下的子节点。数据模型相关操作1、连接server bin/zkCli.sh -server zkServerIp:port2、列出指定node的子node ls / ls /hello3、创建znode节点并指定关联数据 create /hello world 创建节点hello并将字符串world关联到该节点如果仅仅是 create hello 是无法创建成功的需要指定关联数据才能创建成功。 [zk: 192.168.58.99:2181(CONNECTED) 4] create /wusong zk: 192.168.58.99:2181(CONNECTED) 5] ls /wusong Node does not exist: /wusong4、获取znode的数据和状态信息 get hello world cZxid 0x1e00000075 #节点创建时的zxid. ctime Tue Aug 21 23:42:08 PDT 2018 #节点创建时的时间戳 mZxid 0x1e00000075 #节点最新一次更新发生时的zxid mtime Tue Aug 21 23:42:08 PDT 2018#节点最新一次更新发生时的时间戳 pZxid 0x1e00000075 cversion 0 #其子节点的更新次数 dataVersion 0 #节点数据的更新次数. aclVersion 0 #节点ACL(授权信息)的更新次数. ephemeralOwner 0x0 #如果该节点为ephemeral节点, ephemeralOwner值表示与该节点绑定的 dataLength 5 numChildren 05、删除node delete /hello/item01 delete /hello 当znode拥有子znode必须先删除其所有子znode不然无法删除成功rmr可以递归删除当存在子节点时会首先删除子节点。zxid和sessionzxid1znode节点的状态信息中包含czxid, 那么什么是zxid呢?2ZooKeeper状态的每一次改变, 都对应着一个递增的事务id, 该id称为zxid. 由于zxid的递增性质, 如果zxid1小于zxid2, 那么zxid1肯定先于zxid2发生.创建任意节点, 或者更新任意节点的数据, 或者删除任意节点, 都会导致Zookeeper状态发生改变, 从而导致zxid的值增加.seession在client和server通信之前首先要建立tcp连接这个连接就是一个session会话连接建立后如果发生超时、或者显示关闭连接导致连接处于closed状态此时session便会被删除。对于临时节点session删除也意味着该节点会被删除。其它说明Observer1Zookeeper需保证高可用和强一致性2为了支持更多的客户端需要增加更多Server3Server增多投票阶段延迟增大影响性能4权衡伸缩性和高吞吐率引入Observer5Observer不参与投票6Observers接受客户端的连接并将写请求转发给leader节点7加入更多Observer节点提高伸缩性同时不影响吞吐率。为什么zookeeper集群的数目一般为奇数1Leader选举算法采用了Paxos协议2Paxos核心思想当多数Server写成功则任务数据写成功如果有3个Server则两个写成功即可如果有4或5个Server则三个写成功即可。3Server数目一般为奇数3、5、7如果有3个Server则最多允许1个Server挂掉如果有4个Server则同样最多允许1个Server挂掉由此我们看出3台服务器和4台服务器的的容灾能力是一样的所以为了节省服务器资源一般我们采用奇数个数作为服务器部署个数。zookeeper特性1、顺序一致性 从同一个客户端发起的事务请求最终将会严格按照其发起顺序被应用到ZooKeeper中。2、原子性 所有事务请求的结果在集群中所有机器上的应用情况是一致的也就是说要么整个集群所有集群都成功应用了某一个事务要么都没有应用一定不会出现集群中部分机器应用了该事务而另外一部分没有应用的情况。3、单一视图 无论客户端连接的是哪个ZooKeeper服务器其看到的服务端数据模型都是一致的。4、可靠性 一旦服务端成功地应用了一个事务并完成对客户端的响应那么该事务所引起的服务端状态变更将会被一直保留下来除非有另一个事务又对其进行了变更。5、实时性 通常人们看到实时性的第一反应是一旦一个事务被成功应用那么客户端能够立即从服务端上读取到这个事务变更后的最新数据状态。这里需要注意的是ZooKeeper仅仅保证在一定的时间段内客户端最终一定能够从服务端上读取到最新的数据状态。ZooKeeper和Hadoop中的应用应用ZooKeeper部署Hadoop分布式集群环境搭建是每个入门级新手都非常头疼的事情因为你可能花费了很久的时间在搭建运行环境最终却不知道什么原因无法创建成功。但对新手来说运行环境搭建不成功的概率还蛮高的所以在正式开始搭建集群前做好集群规划是很有必要的。zookeeper配置ZooKeeper配置很简单每个节点的配置文件(zoo.cfg)都是一样的只有myid文件不一样。myid的值必须是zoo.cfg中server.{数值}的{数值}部分。zoo.cfg文件内容示例配置zookeeper操作1、启动zookeeper[roothadoop1 conf]# zkServer.sh start[roothadoop2 conf]# zkServer.sh start[roothadoop3 conf]# zkServer.sh starthadoop1启动效果截图启动截图查看启动状态[roothadoop1 conf]# zkServer.sh statushadoop1执行截图查看状态[roothadoop2 conf]# zkServer.sh statushadoop2执行截图标题