首页 技术 正文
技术 2022年11月23日
0 收藏 912 点赞 3,214 浏览 1552 个字

1 Scala安装

1.1 master 机器

修改 scala 目录所属用户和用户组。

sudo chown -R hadoop:hadoop scala

修改环境变量文件 .bashrc , 添加以下内容。

# Scala Env
export SCALA_HOME=/home/hadoop/opt/scala
export PATH=$PATH:$SCALA_HOME/bin

运行 source .bashrc 使环境变量生效。

验证 Scala 安装

$scala
scala > 1+1

1.2 Slaver机器

参照 master 机器安装步骤进行安装。

2 Spark安装

2.1 master 机器

修改 spark目录所属用户和用户组。

chown -R hadoop:hadoop spark

修改环境变量文件 .bashrc , 添加以下内容。

# Spark Env
export SPARK_HOME=/home/hadoop/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

运行 source .bashrc 使环境变量生效。

修改配置文件

进入 Spark 安装目录下的 conf 目录, 拷贝 spark-env.sh.template 到 spark-env.sh。

cp spark-env.sh.template spark-env.sh

编辑 spark-env.sh,在其中添加以下配置信息:

export SCALA_HOME=/home/hadoop/opt/scala
export JAVA_HOME=/home/hadoop/opt/java/jdk1.8
export SPARK_MASTER_IP=192.168.109.137
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/opt/hadoop/etc/hadoop
  • JAVA_HOME 指定 Java 安装目录;
  • SCALA_HOME 指定 Scala 安装目录;
  • SPARK_MASTER_IP 指定 Spark 集群 Master 节点的 IP 地址;
  • SPARK_WORKER_MEMORY 指定的是 Worker 节点能够分配给 Executors 的最大内存大小;
  • HADOOP_CONF_DIR 指定 Hadoop 集群配置文件目录。

将 slaves.template 拷贝到 slaves, 编辑其内容为:

Slaver1

如果在slaves中有Master,即 Master 既是 Master 节点又是 Worker 节点。(怎么规划需根据实际需求进一步考量)

2.2 slave机器

参照 master 机器安装步骤进行安装。

2.3 启动 Spark 集群

2.3.1 启动 Master 节点

运行 start-master.sh,结果可以看到 master 上多了一个新进程 Master。

2.3.2 启动所有 Worker 节点

运行 start-slaves.sh, 运行结果在slaves内设定的节点上使用 jps 命令,可以发现都启动了一个 Worker 进程。

2.4 验证安装

2.4.1 WEB UI

浏览器查看 Spark 集群信息

访问:http://master:8080

2.4.2 运行spark-shell

执行些什么都行。

2.4.3 浏览器访问 SparkUI

访问 http://master:4040

2.5 停止 Spark 集群

2.5.1 停止 Master 节点

运行 stop-master.sh 来停止 Master 节点。使用 jps 命令查看当前 java 进程,可以发现 Master 进程已经停止。

2.5.2 停止 Worker 节点

运行 stop-slaves.sh 可以停止所有的 Worker 节点。使用 jps 命令查看进程信息。可以看到, Worker 进程均已停止,最后再停止 Hadoop 集群。

3 参考文献

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,257
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,695
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,535
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,306
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,944
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:5,104