首页 技术 正文
技术 2022年11月9日
0 收藏 678 点赞 5,120 浏览 2467 个字

之前,我们已经在hadoop集群上配置了Hive,今天我们来配置下Hbase。

一、准备工作

1.ZooKeeper下载地址:http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

2.Hbase下载地址:http://mirrors.shuosc.org/apache/hbase/stable/hbase-1.2.6-bin.tar.gz

二、ZooKeeper集群安装配置

1.下载ZooKeeper

在Hadoop集群上的HBase配置

2.解压下载的安装包

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

3.将解压的目录移动到安装目录

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

4.配置系统环境变量

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

5.使配置生效

在Hadoop集群上的HBase配置

6.将conf目录下的zoo_sample.cfg文件拷贝一份,命名为为:zoo.cfg

在Hadoop集群上的HBase配置

7.配置zoo.cfg文件

在Hadoop集群上的HBase配置

a>.tickTime:Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳

b>.initLimit:Zookeeper的Leader 接受客户端(Follower)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过 5个心跳的时间长度后 Zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 5*2000=10 秒

c>.syncLimit:表示 Leader 与 Follower 之间发送消息时请求和应答时间长度,最长不能超过多少个tickTime 的时间长度,总的时间长度就是 2*2000=4 秒

d>.clientPort:客户端连接端口

e>.dataDir:数据目录

f>.dataLogDir:日志目录

g>.server.A=B:C:D:其中A 是一个数字,表示这个是第几号服务器;B 是这个服务器的 ip 地址;C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader,而这个端口就是用来执行选举时服务器相互通信的端口。如果是伪集群的配置方式,由于 B 都是一样,所以不同的 Zookeeper 实例通信端口号不能一样,所以要给它们分配不同的端口号。

8.在dataDir目录下创建myid文件

在Hadoop集群上的HBase配置

master机器的内容为0,slave1机器的内容为1,slave2机器的内容为2,这些内容对应conf目录下zoo.cfg配置中的server.A中的A。若有更多依此类推

9.在master节点上将配置好的zookeeper分发给各个slave

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

注:再次提醒别忘了更改/home/hadoop/software/zookeeper-3.4.10/data/myid和/etc/profile中zookeeper的环境变量配置

10.启动zookeeper服务

在Hadoop集群上的HBase配置

注:需要在master和slave机上都启动。输入jps命令查看进程,其中,QuorumPeerMain是zookeeper进程,表示启动成功。

11.查看zookeeper状态

在Hadoop集群上的HBase配置

显示为leader或者follower

12.停止zookeeper服务

在Hadoop集群上的HBase配置

三、Hbase安装配置

1.解压Hbase压缩包

在Hadoop集群上的HBase配置

2.将解压的目录移动到安装配置目录

在Hadoop集群上的HBase配置

3.将Hbase安装目录配置到环境变量中

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

4.修改文件conf/hbase-env.sh,修改内容如下
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
export HBASE_MANAGES_ZK=false//true为使用Hbase自带ZK,false为使用独

在Hadoop集群上的HBase配置

5.修改conf/hbase-site.xml,修改内容如下

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>

<property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

<property>
        <name>hbase.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>

<property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/hadoop/software/hbase-1.2.6/zookeeper_tmp</value>
    </property>
</configuration>

在Hadoop集群上的HBase配置

备注:在上面的配置文件中,第一个属性指定本机的hbase的存储目录;第二个属性指定hbase的运行模式,true代表全分布模式;第三和第四个属性是关于Zookeeper集群的配置。我的Zookeeper安装在master,slave1和slave2上。

5.修改conf/regionservers文件,修改内容如下

master

slave1

slave2

注意:一般 regionservers 不在 master 上部署。

6.将Hbase拷贝到 slave节点同样目录下,并将Hbase安装目录配置到slave节点的环境变量中
在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

四、启动集群

1.启动启动ZooKeeper(每个节点都需要启动)

在Hadoop集群上的HBase配置

2.在master启动hadoop

在Hadoop集群上的HBase配置

3.在master启动hive

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

在Hadoop集群上的HBase配置

slave节点:

在Hadoop集群上的HBase配置

4.在master启动hbase

在Hadoop集群上的HBase配置

slave节点:

在Hadoop集群上的HBase配置

5.通过浏览器查看:输入:http://192.168.19.128:16030

在Hadoop集群上的HBase配置

6.进人和退出hbase的shell

进人hbase的shell的命令:hbase shell

在Hadoop集群上的HBase配置

退出hbase的shell命令:exit

在Hadoop集群上的HBase配置

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,088
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,565
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,413
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,186
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,822
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,905