首页 技术 正文
技术 2022年11月6日
0 收藏 792 点赞 841 浏览 957 个字

Hadoop扩容

概述

Hadoop存储容量或计算能力不能满足日益增长的需求时,就需要扩容。

扩容有两个方案:

1) 增加磁盘

2) 增加节点

方案一:扩大虚拟磁盘

扩大容量

将虚拟的Linux关闭,扩大磁盘容量

将空间增大20G

建立分区

增加空间后Linux并不会识别出新增加的磁盘空间

需要为这块新增的空间建立分区

新建分区

打开Linux

fdisk /dev/sda#调整磁盘分区

m #进入帮助引导模式

n #新增分区

p #指定新分区为基本分区

一路回车 #但要记住分区号

w #保存并执行刚才的分区操作

reboot #重启

查看新增分区

fdisk -l

格式化

找到新增加的分区,还记得刚才的分区号吗?

#将数字换成刚才分配的分区号

挂载

Linux没有盘符,所以增加分区之后,需将分区映射到某一个文件夹上,以便使用。

新建文件夹

如果使用现有文件夹,则文件夹中的文件在挂载后将无法访问

mkdir /newdisk

临时挂载

 /newdisk

挂载成成功后可以查看挂载情况(没有挂载时用这个命令看不到)

df -lhT

#l表示列出

#h表示使用可读性更好的方式打印磁盘大小

#T表示列出文件类型

开机自动挂载

打开 /etc/fstab

增加

扩容datanode

配置

在hdfs-site.xml中增加配置项

<property>

<name>dfs.datanode.data.dir</name>

<value>${hadoop.tmp.dir}/dfs/data,
/newdisk</value>

</property>

/newdisk就是指定datanode使用新增的磁盘作为存储空间!可以指定多个存储位置

注意:将${hadoop.tmp.dir}替换成当前的hadoop临时目录

重启

stop-dfs.sh

start-dfs.sh

注意:如果在集群模式下,只需要重启该datanode即可!

验证

访问Hadoop浏览站点,可以看到该datanode存储空间增加了。

方案二:新增磁盘

以上适用于虚拟机所在的物理磁盘还有多余空间的情况。而生产环境中,还有一种情况是增加全新的硬盘(相当于买一块新硬盘插到主板上),用虚拟机也能模式出这种情况。

增加新磁盘

添加磁盘之后,启动Linux,新磁盘对应的是

/dev/sdb #第一块磁盘是sda,第二块是sdb,第三块是sdc…

然后从上面的【格式化】步骤继续进行就可以了

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,115
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,587
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,433
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,204
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,840
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,925