4.8.4. ## 安装Spark

平台使用spark的版本为2.4.0：spark-2.4.0-bin-hadoop2.7.tgz ### 1. 将spark的安装包上传到/opt/software目录中 ### 2. 将spark安装包解压到/opt/module目录下 进入/opt/software目录下，执行 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/module

### 3. 将spark添加到环境变量

（1）获取spark的安装路径
（2）打开/etc/profile文件
        vim /etc/profile
        在profile文件末尾添加spark路径
#SPARK_HOME
export SPARK_HOME=/opt/module/spark-2.4.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
（3）保存退出
（4）让修改的配置生效
        source  /etc/profile
（5）分发配置信息
        scp -r /etc/profile root@bigdata.slave1:/etc/profile
        scp -r /etc/profile root@bigdata.slave2:/etc/profile
        进入其他机器执行 source /etc/profile

### 4. 测试是否安装成功 执行 spark-shell ### 5. 集群配置

修改spark的配置文件，配置文件路径为/opt/module/ spark-2.4.0-bin-hadoop2.7/conf
（1）配置spark-env.sh
vim spark-env.sh
在该配置文件中添加如下配置
export SCALA_HOME=/usr/local/src/scala-2.11.12
export JAVA_HOME=/opt/module/jdk1.8.0_181
export HADOOP_HOME=/opt/module/hadoop-2.8.5
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_PID_DIR=$SPARK_HOME/app/pids
SPARK_MASTER_IP=bigdata.master
SPARK_LOCAL_DIRS=/opt/module/spark-2.4.0-bin-hadoop2.7
SPARK_DRIVER_MEMORY=1G
（2）配置slaves
bigdata.slave1
bigdata.slave2

### 6. 分发配置信息到各个机器

scp -rp /opt/module/spark-2.4.0-bin-hadoop2.7 root@bigdata.slave1:/opt/module
scp -rp /opt/module/spark-2.4.0-bin-hadoop2.7 root@bigdata.slave2:/opt/module

### 7. 启动集群 （1）启动Hadoop集群 进入sbin目录：执行./start-all.sh

（2）查看集群状态 jps

（3）关闭集群 进入sbin目录：执行./stop-all.sh