Apache Spark-reducebyKey-Java-

我正在尝试了解reduceByKeySpark中使用java作为编程语言。

假设我有一句话“我就是我”。 我将句子分解成单词并将其存储为列表[I, am, who, I, am].

现在这个函数分配1对每个单词：

JavaPairRDD<String, Integer> ones = words.mapToPair(new PairFunction<String, String, Integer>() {
    @Override
    public Tuple2<String, Integer> call(String s) {
        return new Tuple2<String, Integer>(s, 1);
    }
});

所以输出是这样的：

(I,1) 
(am,1)
(who,1)
(I,1)
(am,1)

现在，如果我有 3 个减速器正在运行，每个减速器都会获得一个键以及与该键关联的值：

reducer 1:
    (I,1)
    (I,1)

reducer 2:
    (am,1)
    (am,1)

reducer 3:
    (who,1)

我想知道

A。下面的函数到底发生了什么。
b.参数是什么new Function2<Integer, Integer, Integer>
C。 JavaPairRDD 基本上是如何形成的。

JavaPairRDD<String, Integer> counts = ones.reduceByKey(new Function2<Integer, Integer, Integer>() {
    @Override
    public Integer call(Integer i1, Integer i2) {
        return i1 + i2;
    }
});

我认为你的问题围绕着这里的reduce函数，它是一个有2个参数返回1的函数，而在Reducer中，你实现了一个多对多的函数。

这个 API 虽然不太通用，但也更简单。在这里，您提供了一个关联运算，可以将任意 2 个值减少到 1（例如，两个整数之和为 1）。这用于将每个键的所有值减少到 1。没有必要提供 N 到 1 函数，因为它可以通过 2 到 1 函数来完成。在这里，您不能为一个键发出多个值。

结果是每个（键，值串）的（键，减少的值）。

经典 Hadoop MapReduce 中的 Mapper 和Reducer 实际上都非常相似（只是它们采用一组值而不是每个键单个值）并且允许您实现许多模式。从某种程度上来说这是好的，但从某种程度上来说却是浪费和复杂的。

您仍然可以重现Mappers和Reducers所做的事情，但是Spark中的方法是mapPartitions，可能与groupByKey配对。这些是您可能会考虑的最通用的操作，我并不是说您should在 Spark 中以这种方式模拟 MapReduce。事实上，它不太可能有效。但这是可能的。