RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。可选：key-value型的RD...

RDD是一个弹性的分布式的数据集，是spark的基本抽象，RDD是不可变的，并且它由多个partition构成（可能分布在多台机器上，可以存memory上，也可以存disk里等等），可以进行并行操作弹性：分布式计算时可容错不可变：一旦产生...

可选项，如果RDD里面存的数据是key-value形式，则可以传递一个自定义的Partitioner进行重新分区，例如这里自定义的Partitioner是基于key进行分区，那则会将不同RDD里面的相同key的数据放到同一个partition里面5.Optionally,ali...

(1)抽象类:RDD必然是由子类实现的，我们使用的直接使用其子类即可(2)Serializable:可以序列化(3)Logging：spark1.6可以使用，spark2.0之后不可以使用(4)T:存储各种数据类型(5)SparkContext(6)@...

RDD的特点：RDD的5个主要属性：可以通过两种方式创建RDD：转换操作指的是在原RDD实例上进行计算，然后创建一个新的RDD实例。RDD中的所有的转换操作都是惰性的，在执行RDD的转换操作的时候，并不会直接计算结果，而是记住...

不支持。在SparkRDD中，是不支持随机修改的。RDD是一个分布式的、不可变的数据集，一旦RDD被创建之后，就无法对其中的数据进行修改操作。

从而可以在集群中的不同节点上进行并行计算•RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改，只能基于稳定的物理存储中的数据集创建RDD，或者通过在其他RDD上执行确定的转换...

RDDAPI是函数式的，强调不变性，在大部分场景下倾向于创建新对象而不是修改老对象。这一特点虽然带来了干净整洁的API，却也使得Spark应用程序在运行期倾向于创建大量临时对象，对GC造成压力。在现有RDDAPI的基础之上，...

1.RDD(ResilientDistributedDataset)：弹性分布式数据集。2.RDD是只读的，由多个partition组成3.Partition分区，和Block数据块是一一对应的1.Driver：保存block数据，并且管理RDD和Block的关系2.Executor会启动一个...

RDD可以相互依赖。如果RDD的每个分区最多只能被一个ChildRDD的一个分区使用，则称之为narrowdependency;若多个ChildRDD分区都可以依赖，则称之为widedependency。不同的操作依据其特性，可能会产生不同的依赖。例如map操作...