## 安装Spark
=========================

平台使用spark的版本为2.4.0：spark-2.4.0-bin-hadoop2.7.tgz
### 1. 将spark的安装包上传到/opt/software目录中
### 2. 将spark安装包解压到/opt/module目录下
进入/opt/software目录下，执行 tar -zxvf spark-2.4.0-bin-hadoop2.7.tgz -C /opt/module

### 3. 将spark添加到环境变量

.. code::

	（1）获取spark的安装路径
	（2）打开/etc/profile文件
		vim /etc/profile
		在profile文件末尾添加spark路径
	#SPARK_HOME
	export SPARK_HOME=/opt/module/spark-2.4.0-bin-hadoop2.7
	export PATH=$PATH:$SPARK_HOME/bin
	（3）保存退出
	（4）让修改的配置生效
		source  /etc/profile
	（5）分发配置信息
		scp -r /etc/profile root@bigdata.slave1:/etc/profile
		scp -r /etc/profile root@bigdata.slave2:/etc/profile
		进入其他机器执行 source /etc/profile

### 4. 测试是否安装成功
执行 spark-shell
### 5. 集群配置

.. code::

	修改spark的配置文件，配置文件路径为/opt/module/ spark-2.4.0-bin-hadoop2.7/conf
	（1）配置spark-env.sh
	vim spark-env.sh
	在该配置文件中添加如下配置
	export SCALA_HOME=/usr/local/src/scala-2.11.12
	export JAVA_HOME=/opt/module/jdk1.8.0_181
	export HADOOP_HOME=/opt/module/hadoop-2.8.5
	export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
	export SPARK_PID_DIR=$SPARK_HOME/app/pids
	SPARK_MASTER_IP=bigdata.master
	SPARK_LOCAL_DIRS=/opt/module/spark-2.4.0-bin-hadoop2.7
	SPARK_DRIVER_MEMORY=1G
	（2）配置slaves
	bigdata.slave1
	bigdata.slave2

### 6. 分发配置信息到各个机器

.. code::

	scp -rp /opt/module/spark-2.4.0-bin-hadoop2.7 root@bigdata.slave1:/opt/module
	scp -rp /opt/module/spark-2.4.0-bin-hadoop2.7 root@bigdata.slave2:/opt/module

### 7. 启动集群
（1）启动Hadoop集群
进入sbin目录：执行./start-all.sh

（2）查看集群状态
jps

（3）关闭集群
进入sbin目录：执行./stop-all.sh