4.8.5. # spark官方事例测试

## spark pi ### local模式 在安装的spark目录下敲入命令： ./bin/spark-submit –class org.apache.spark.examples.SparkPi –master local examples/jars/spark-examples_2.11-2.3.2.jar 解释下命令： –class 类名 –master local 本地模式 examples/jars/spark-examples_2.11-2.3.2.jar 是你spark安装目录下的lib目录下的examples的jar包，其实以后在windows上用intellij写的spark程序也要打成jar包，放到这里来调用。

### standalone模式 首先进入spark安装目录下，启动./sbin/start-all.sh，输入jps，主节点看到Master,从节点看到worker 在安装的spark目录下敲入命令： ./bin/spark-submit –class org.apache.spark.examples.SparkPi –master spark://node01:7077 examples/jars/spark-examples_2.11-2.3.2.jar 解释下命令： –master spark://node01:7077 这个IP是要写你在spark的conf目录下配置的export SPARK_MASTER_IP的地址。

### on-yarn-cluster模式 大前提是master的机器和slave机器的系统时间要保持一致，不一致会有错。 首先要进入hadoop安装目录下，启动./sbin/start-all.sh，看到主节点和namenode secondarynamenode resourcemanager master和从节点有datanode nodemanager worker

在安装的spark目录下敲入命令：

./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master yarn-cluster examples/jars/spark-examples_2.11-2.3.2.jar

### on-yarn-client模式

大前提是master的机器和slave机器的系统时间要保持一致，不一致会有错。 要求和 on-yarn-cluster模式一样。 在安装的spark目录下敲入命令： ./bin/spark-submit –class org.apache.spark.examples.SparkPi –master yarn-client examples/jars/spark-examples_2.11-2.3.2.jar