首页 技术 正文
技术 2022年11月9日
0 收藏 965 点赞 4,428 浏览 1611 个字

添加节点

1.修改host    和普通的datanode一样。添加namenode的ip

2.修改namenode的配置文件conf/slaves    添加新增节点的ip或host

3.在新节点的机器上,启动服务

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker  

4.均衡block

[root@slave-004 hadoop]# ./bin/start-balancer.sh

1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率  2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长

[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5

3)设置balance的带宽,默认只有1M/s

Hadoop日常维护系列——Hadoop添加删除节点

1 <property>
2   <name>dfs.balance.bandwidthPerSec</name>
3   <value>1048576</value>
4   <description>
5     Specifies the maximum amount of bandwidth that each datanode
6     can utilize for the balancing purpose in term of
7     the number of bytes per second.
8   </description>
9 </property>

Hadoop日常维护系列——Hadoop添加删除节点

注意:

1. 必须确保slave的firewall已关闭;

2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中,反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中

删除节点

1.集群配置     修改conf/hdfs-site.xml文件

<property>
  <name>dfs.hosts.exclude</name>
  <value>/data/soft/hadoop/conf/excludes</value>
  <description>Names a file that contains a list of hosts that are
  not permitted to connect to the namenode. The full pathname of the
  file must be specified. If the value is empty, no hosts are
  excluded.</description>
</property>

2.确定要下架的机器  dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:

slave-
slave-

3.强制重新加载配置

[root@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes  

它会在后台进行Block块的移动

4.关闭节点  等待刚刚的操作结束后,需要下架的机器就可以安全的关闭了。

[root@master hadoop]# ./bin/ hadoop dfsadmin -report  

可以查看到现在集群上连接的节点

正在执行Decommission,会显示:  Decommission Status : Decommission in progress  
执行完毕后,会显示: Decommission Status : Decommissioned

5.再次编辑excludes文件  一旦完成了机器下架,它们就可以从excludes文件移除了  登录要下架的机器,会发现DataNode进程没有了,但是TaskTracker依然存在,需要手工处理一下.

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,086
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,561
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,410
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,183
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,820
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,903