# spark官方事例测试
==============================

## spark pi
### local模式  
在安装的spark目录下敲入命令：  
./bin/spark-submit --class
org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.3.2.jar  
解释下命令：  
--class 类名  
--master local 本地模式  
examples/jars/spark-examples_2.11-2.3.2.jar  是你spark安装目录下的lib目录下的examples的jar包，其实以后在windows上用intellij写的spark程序也要打成jar包，放到这里来调用。  

### standalone模式  
首先进入spark安装目录下，启动./sbin/start-all.sh，输入jps，主节点看到Master,从节点看到worker  
在安装的spark目录下敲入命令：  
./bin/spark-submit --class org.apache.spark.examples.SparkPi
--master spark://node01:7077 examples/jars/spark-examples_2.11-2.3.2.jar  
解释下命令：  
--master spark://node01:7077  
这个IP是要写你在spark的conf目录下配置的export SPARK_MASTER_IP的地址。


### on-yarn-cluster模式  
大前提是master的机器和slave机器的系统时间要保持一致，不一致会有错。  
首先要进入hadoop安装目录下，启动./sbin/start-all.sh，看到主节点和namenode secondarynamenode resourcemanager master和从节点有datanode
nodemanager worker  
 
在安装的spark目录下敲入命令：  

.. code::

    ./bin/spark-submit --class org.apache.spark.examples.SparkPi
    --master yarn-cluster examples/jars/spark-examples_2.11-2.3.2.jar

### on-yarn-client模式

大前提是master的机器和slave机器的系统时间要保持一致，不一致会有错。  
要求和 on-yarn-cluster模式一样。  
在安装的spark目录下敲入命令：  
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/jars/spark-examples_2.11-2.3.2.jar