通过spark-submit提交第一个spark 应用到集群中运行
bin/spark-submit --master spark://node-4:7077,node-5:7077 --class org.apache.spark.examples.SparkPi --executor-memory 2048mb --total-executor-cores 12 --executor-cores 1 examples/jars/spark-examples_2.11-2.2.0.jar 1000
参数介绍:
–class: 业务运行代码class
–master: 提交到具体的master 地址 可以是 spark 的一个节点,可以是yarn,也可以指定多个master地址,目的是为了提交任务高可用
–total-executor-cores: 总核数
–executor-cores: 每个executor的核心数
–executor-memory: 每个executor使用的内存数
xxx.jar 为实际提交的jar 包 (jar 包的位置必须是位于Spark 的节点机器,或者是hdfs 文件目录上)
100 是业务运行代码class需要传入的参数
提交一个spark程序到spark集群,会产生哪些进程?
SparkSubmint(Driver)提交任务
Executor 执行真正的计算任务的