首页 技术 正文
技术 2022年11月14日
0 收藏 920 点赞 2,522 浏览 3158 个字

我是在32位的系统下配置的,所以在下载安装文件时候要注意。

第一步:下载并配置JDK

1.下载jdk,这里下载的是jdk1.7.0_65版本的,命令如下

$ wget http://download.oracle.com/otn-pub/java/jdk/7u65-b17/jdk-7u65-linux-i586.tar.gz?

2.解压下载好的文件

$ tar zxvf jdk-7u65-linux-i586.tar.gz

3.将解压完的文件复制到/opt/目录下

$ sudo cp -r jdk1..0_65 /opt/

4.配置jdk环境变量,打开/etc/profile,并添加如下代码

$ sudo vim /etc/profile

  在末端添加的代码:

  # set java environment     export JAVA_HOME=/opt/jdk1..0_65    export JRE_HOME=${JAVA_HOME}/jre    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH

5.重新执行配置文件使之立即生效

$ source /etc/profile

6.验证配置是否成功

$ java –version

  

  出现下列则成功

  java version “1.7.0_65”

  Java(TM) SE Runtime Environment (build 1.7.0_65-b10)

  Java HotSpot(TM) Server VM (build 20.10-b01, mixed mode)

第二步:安装SSH并设置无密码登录

2.1 安装openssh-server

$ sudo apt-get install openssh-server

2.2 检查是否安装好

$ ssh -version

  出现下面信息说明安装好了:

OpenSSH_5.9p1, Debian-5ubuntu1.,OpenSSL 1.0.  Mar Bad escape character 'rsion'.

2.3 启动/关闭服务

$ /etc/init.d/sshd start/stop

或者

$ service sshd start/stop

2.4 配置无密码登录

参考地址:http://www.iteblog.com/archives/781

$ ssh-keygen –t dsa –P ‘’

这样就会下生成id_dsa和id_dsa.pub两个文件

将id_dsa.pub里面的内容加到用于认证的公钥文件中,命令如下(注意:不要复制,一定要用cat去操作,不信你可以去试试。):

$ cat id_dsa.pub >> authorized_keys

接着输入下列命令

$ ssh localhost

可以登录说明配置好了。

第三步:部署Hadoop(2.2.0版本)

注意,一定要在用户目录下安装配置,否则会出现各种permission denied问题。

链接地址:http://www.iteblog.com/archives/790

(32位系统的hadoop直接下载安装就可以了,64位的需要编译。

参考地址:http://blog.csdn.net/john_f_lau/article/details/17690239

3.1 下载Hadoop并解压到根用户目录下

$ wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz
$ tar zxvf hadoop-2.2..tar.gz

这里我解压后放在了用户目录下的opt/目录下。

3.2 设置Hadoop环境变量

$ sudo vim /etc/profile

在/etc/profile文件的末尾加上一下设置

# set Hadoop environmentexport HADOOP_DEV_HOME=${用户目录}/opt/Hadoopexport PATH=$PATH:$HADOOP_DEV_HOME/binexport PATH=$PATH:$HADOOP_DEV_HOME/sbinexport HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}export YARN_HOME=${HADOOP_DEV_HOME}export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/Hadoop

然后运行命令让设置生效:

$ sudo source /etc/profile

验证环境变量是否配置成功

$ Hadoop versio

3.3 编辑JDK所在路径

修改Hadoop的hadoop-env.sh配置文件,设置jdk所在的路径

$ vim etc/hadoop/hadoop-env.sh

在里面找到JAVA_HOME,并将它的值设置为你电脑jdk所在的绝对路径

# The java implementation to use.export JAVA_HOME=/opt/jdk1..0_45

设置好后保存退出

 

3.4 配置几个必须的文件(师兄指导后的精简版)

在hadoop目录下的etc/hadoop目录下

core-site.xml

<configuration>
 <property>
   <name>fs.default.name</name>
   <value>hdfs://localhost:9000</value> 
 </property>
</configuration>

hdfs-site.xml

<configuration>
<property>
  <name>dfs.replication</name>
   <value>2</value> 
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>${用户目录}/data/Hadoop/tmp </value>
 </property>

</configuration>

mapred-site.xml

<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value> 
 </property>
</configuration>

其中的hdfs-site.xml文件中的${用户目录}/data/Hadoop/tmp必须要先建好。

上述文件中的字段解释:

fs.default.name:这是一个描述集群中NameNode结点的URI(包括协议、主机名称、端口号),集群里面的每一台机器都需要知道NameNode的地址。DataNode结点会先在NameNode上注册,这样它们的数据才可以被使用。独立的客户端程序通过这个URI跟DataNode交互,以取得文件的块列表。

dfs.replication副本集的个数。

hadoop.tmp.dirHadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。

mapred.job.tracker连接jobtrack服务器的配置项,指定JobTracker进程运行的位置。

更多参数说明参考:http://www.aboutyun.com/thread-7800-1-1.html

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,128
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,600
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,443
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,216
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,851
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,939