当前位置: 代码迷 >> 综合 >> spark常用RDD算子 - SortByKey
  详细解决方案

spark常用RDD算子 - SortByKey

热度:7   发布时间:2024-02-05 13:05:16.0

SortByKey用于对pairRDD按照key进行排序,第一个参数可以设置true或者false,默认是true

List<Tuple2<String, Integer>> data = new ArrayList<>();
data.add(new Tuple2<>("A", 10));
data.add(new Tuple2<>("A", 20));
data.add(new Tuple2<>("B", 2));
data.add(new Tuple2<>("B", 3));
data.add(new Tuple2<>("C", 5));JavaPairRDD<String, Integer> stringIntegerJavaPairRDD = javaSparkContext.parallelizePairs(data);//升序
System.out.println(stringIntegerJavaPairRDD.sortByKey().collect());
//返回的结果
//[(A,10), (A,20), (B,2), (B,3), (C,5)]//降序
System.out.println(stringIntegerJavaPairRDD.sortByKey(false).collect());
//返回的结果
//[(C,5), (B,2), (B,3), (A,10), (A,20)]

 

  相关解决方案