首页 技术 正文
技术 2022年11月15日
0 收藏 474 点赞 2,593 浏览 2263 个字

  开始接触Hadoop,听人说一般都是在Lunix下部署Hadoop,但是本人Lunix不是很了解,所以Google以下如何在Win10下安装Hadoop(之后再在Lunix下弄),找到不少文章,以下是主要参考的文章:

  1、Hadoop installation on windows without cygwin in 10 mints

  2、Win10系统安装Hadoop与Hbase

  3、Apache Hadoop for Windows Platform

  这里是按照第一篇文章操作的。

  一、安装jdk,地址为http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 具体的操作以及配置环境变量这里就不演示了,这里有一点需要注意的是默认会安装在C:\Program Files 下,开始我也是安装在这里,但是后来报错了,报什么“JAVA_HOME”的错误具体的记不清了。查了一下说是因为安装路径中有空格,晕了,所以安装在如下目录:

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  二、下载Hadoop,地址为 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/  这里选择的是hadoop-2.7.3.tar.gz

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  三、将其解压到某一文件夹,这里为D:\hadoop\hadoop-2.7.3

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  四、添加“HADOOP_HOME”环境变量,并添加到Path环境变量中,按照下图操作

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  五、修改Hadoop配置文件,在这之前你要先下载sardetushar_gitrepo_download ,之后解压,删掉D:\hadoop\hadoop-2.7.3目录下的bin、etc文件夹,用刚刚解压的替换。

  1、D:\hadoop\hadoop-2.7.3\etc\hadoop\core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

  2、D:\hadoop\hadoop-2.7.3\etc\hadoop\mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

  3、D:\hadoop\hadoop-2.7.3\etc\hadoop\hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/data/datanode</value>
</property>
</configuration>

  这个配置这里要感谢一下这篇帖子:http://stackoverflow.com/questions/34871814/failed-to-start-namenode-in-hadoop  按照第一篇教程配置会出错的!!!

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  如果你的路径形如d:/hadoop/data/namenode 就会出现上图错误,如果路径是在E:,那么上图中的异常就会是E

  4、D:\hadoop\hadoop-2.7.3\etc\hadoop\yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

  5、D:\hadoop\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd (修改JDK的安装路径)

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  六、格式化HDFS文件系统,hdfs namenode -format      如下图,

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  如果这一步没有什么异常基本没有问题了。

  七、在命令行(管理员)将目录指向D:\hadoop\hadoop-2.7.3\sbin,键入“start-all”

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  Namenode、Datanode、YARN resourcemanager、YARN nodemanager四个进程启动成功,再看一下网站截图:

  localhost:8088

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  localhost:50070

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  最后我们可以使用“stop-all”停止Hadoop

win10上部署Hadoop-2.7.3——非Cygwin、非虚拟机

  至此,Hadoop部署已经结束。第一次接触还是挺兴奋的!

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,135
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,603
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,446
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,220
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,855
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,941