4.8. Spark

## 环境搭建

spark环境搭建

## spark集群问题

spark集群使用sbin目录下的stop-all.sh脚本关闭不了集群

spark提交yarn任务，每次都需要上传jar报的解决办法

spark启动报错：java.lang.IllegalStateException: Spark context stopped while waiting for backend

## spark性能调优

spark常规性能调优

spark算子调优

spark的shuffle调优

spark的JVM调优

## 官方测试事例

spark官方测试事例(可以用来检验新搭的环境是否健康)