途牛旅游网站建设方案/网络公司推广公司
在之前的文章中，我们学习了如何在spark中使用RDD中的cartesian,subtract最终两种方法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。
Spark-Scala语言实战（10）-CSDN博客文章浏览阅读977次，点赞32次，收藏12次。今天开始的文章，我会带给大家如何在spark的中使用我们的RDD方法，今天学习RDD方法中的cartesian,subtract两种方法。希望我的文章能帮助到大家，也欢迎大家来我的文章下交流讨论，共同进步。https://blog.csdn.net/qq_49513817/article/details/137297066?今天的文章开始，我会继续带着大家如何在spark的中使用我们的键值对里的方法。今天学习键值对方法中的join,rightOuterJoin,leftOuterJoin三种方法。
目录
一、知识回顾
二、键值对方法
1.join
2.rightOuterJoin
3. leftOuterJoin
拓展-方法参数设置与键值对
1.方法参数设置
2.键值对
一、知识回顾
上一篇文章中我们学习了RDD的两种方法，分别是cartesian,subtract。
cartesian可以求笛卡儿积，及两个集合的元素两两组合
可以看到两个集合的元素两两组合在一起了。
subtract是我们的一个补集操作。
当p2补p1时，肯定会输出p2中没有的p1有的即我们的1，2
现在，开始今天的学习吧
二、键值对方法
1.join
- join()方法用于根据键对两个RDD进行内连接，将两个RDD中键相同的数据的值存放在一个元组中，最后只返回两个RDD中都存在的键的连接结果。
- 例如，在两个RDD中分别有键值对(K,V)和(K,W)，通过join()方法连接会返回(K,(V,W))。
- 创建两个RDD，含有相同键和不同的键，通过join()方法进行内连接。
import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)// 创建第二个RDD，包含一些键值对val p1 = sc.parallelize(Array(("A", 1), ("B", 2), ("C", 3)))// 创建第二个RDD，包含一个不同的键值对val p2 = sc.parallelize(Array(("A", 5), ("B", 3), ("d", 1)))// 执行join操作，基于键进行匹配val p3 = p1.join(p2)// 显示join后的结果p3.collect().foreach(println)}
}可以看到我们的代码创建了两个RDD，包含相同的键A，B与不同的键C,D。那么将它们进行join连接，肯定只会匹配相同键与键的值，那即代表运行我们的代码，看到的只会是我们A，B键与它的值。现在运行代码看看是否与我们所预期的一致吧。
可以看到输出的分别是A，B与它们的值，所预期一致。
2.rightOuterJoin
- rightOuterJoin()方法用于根据键对两个RDD进行右外连接，连接结果是右边RDD的所有键的连接结果，不管这些键在左边RDD中是否存在。
- 在rightOuterJoin()方法中，如果在左边RDD中有对应的键，那么连接结果中值显示为Some类型值；如果没有，那么显示为None值。
import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)// 创建第二个RDD，包含一些键值对val p1 = sc.parallelize(Array(("A", 1), ("B", 2), ("C", 3)))// 创建第二个RDD，包含一个不同的键值对val p2 = sc.parallelize(Array(("A", 5), ("B", 3), ("d", 1)))val p3 = p1.rightOuterJoin(p2)p3.collect().foreach(println)}
}通过上面的描述可以知道rightOuterJoin方法在这里使用后，肯定是只会输出p2所包含的，p1有的p2没有就会直接忽略掉，而p2有的p1没有那么相应的输出位置就会为None值，那么在这里，肯定就会是键A，B，d了，且d里肯定有一个空（None）值。
运行代码
可以看到输出与预期一致。
3. leftOuterJoin
- leftOuterJoin()方法用于根据键对两个RDD进行左外连接，与rightOuterJoin()方法相反，返回结果保留左边RDD的所有键。
import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)// 创建第二个RDD，包含一些键值对val p1 = sc.parallelize(Array(("A", 1), ("B", 2), ("C", 3)))// 创建第二个RDD，包含一个不同的键值对val p2 = sc.parallelize(Array(("A", 5), ("B", 3), ("d", 1)))// 执行join操作，基于键进行匹配val p3 = p1.leftOuterJoin(p2)// 显示join后的结果p3.collect().foreach(println)}
}学习了上面，那下面这个 leftOuterJoin就很好理解了，就是与上面相反，肯定是只会输出p1所包含的，p2有的p1没有就会直接忽略掉，同时也会产生空值。
快去试试吧~
拓展-方法参数设置与键值对
1.方法参数设置
| 方法 | 参数 | 参数说明 | 使用例子 | 效果 |
|---|---|---|---|---|
| join | other: RDD[(K, V)] | 另一个需要进行连接的RDD，具有相同的键类型K | rdd1.join(rdd2) | 返回两个RDD的键相同的元素对组成的RDD |
| 仅包含两个RDD中都存在的键对应的元素对 | ||||
| rightOuterJoin | other: RDD[(K, W)] | 另一个需要进行右外连接的RDD，具有相同的键类型K | rdd1.rightOuterJoin(rdd2) | 返回以rdd2的键为基准的左连接结果 |
| rdd1中与rdd2键匹配的元素对会被返回 | ||||
| rdd2中不与rdd1键匹配的键对应的元素对，其值会被设为null | ||||
| leftOuterJoin | other: RDD[(K, W)] | 另一个需要进行左外连接的RDD，具有相同的键类型K | rdd1.leftOuterJoin(rdd2) | 返回以rdd1的键为基准的左连接结果 |
| rdd1中的所有元素对都会被返回 | ||||
| 对于rdd1中与rdd2键匹配的元素对，其值会被正常返回 | ||||
| 对于rdd1中不与rdd2键匹配的键，其值会被设为null |
2.键值对
在 Spark 中，键值对（Key-Value Pair）通常指的是由两个元素组成的元组，其中第一个元素是键（Key），第二个元素是值（Value）。这种键值对的数据结构在 Spark 中非常常见，特别是在处理 RDD（弹性分布式数据集）时。
在 Spark 中，键值对 RDD（Pair RDD）允许你对数据进行一系列的操作，这些操作主要依赖于键。例如，你可以根据键对数据进行分组（groupByKey）、排序（sortByKey）、连接（join）、减少（reduceByKey）等。
键值对 RDD 在 Spark 中通过 scala.Tuple2 类实现，通常简写为 (K, V)，其中 K 是键的类型，V 是值的类型。例如，你可以有一个 (String, Int) 类型的键值对 RDD，其中字符串是键，整数是值。