JavaSpark编写程序在linux上运行

Spark编写程序在linux上运行由于没有指定文件地址,和输出文件地址所以在linux中需要参数

 在spark/bin/目录下  ./spark-submit --master spark://linux01:7077 --executor-memory 1g --total-executor-cores 8

--class com.51doit.spark.LambdaWordCount    -jar  hdfs://linux:9000/spark/wordcount.txt   hdfs://linux:9000/sparkout-01

--executor-memory 1g 指定worker可用的内存大小

--total-executor-cores 8 指定worker可用的逻辑核数

--calss  全类名

-jar打好jar包,上传到linux中ctrl+p 打开sftp

  其中spark已经有的jar包就不需要打了,在pom.xml文件中 

<scope>provided</scope>

<!-- provided编译时运行jar包,打jar包时不会使用 -->

但是在本地编写的时候要打开,否则找不到jar包

 System.setProperty("HADOOP_USER_NAME","root"); 给权限,否则会报错.

public class LambdaWordCount {public static void main(String[] args) {//获取javaSpark的conf传入Jsc

SparkConf conf = new SparkConf().setAppName("LambdaWordCount2").setMaster("local[*]");

//将conf传入jsc中JavaSparkContext jsc = new JavaSparkContext(conf);//获取RDD大集合JavaRDD<String> javaRDD = jsc.textFile(args[0]);//使用flatMap方法拆分压平--因为java中flatMap方法返回的是iterator迭代器,所以需要将数组转成集合,在.迭代器,让返回值也是迭代器JavaRDD<String> words = javaRDD.flatMap(lines -> Arrays.asList(lines.split(" ")).iterator());//使用map方法聚合+1,形成元组,但java没有元组,所以需要调取Tuple2.apply方法转成元组形式,不能调map方法,这样就没有ReduceByKe了JavaPairRDD<String, Integer> wordAndOne = words.mapToPair(w -> Tuple2.apply(w, 1));//使用ReduceByKey,输入x+y逻辑,将相同key的values聚合JavaPairRDD<String, Integer> reduceWord = wordAndOne.reduceByKey((x, y) -> (x + y));//排序,java中排序只有SortByKey,所以需要调mapToPair方法将 key和values翻转,这样values在前,key在后JavaPairRDD<Integer, String> swapWords = reduceWord.mapToPair(Tuple2::swap);//按照调换的value进行排序,false是倒叙JavaPairRDD<Integer, String> sortByWord = swapWords.sortByKey(false);//使用mapToPair再次调换value和keyJavaPairRDD<String, Integer> gogogo = sortByWord.mapToPair(Tuple2::swap);//Transformation 结束//Action算子，会触发任务执行//将数据保存到HDFSgogogo.saveAsTextFile(args[1]);jsc.stop();}
}