（1）创建RDD对象；（2）SparkContext负责计算RDD之间的依赖关系，构建DAG；（3）DAGScheduler负责把DAG图分解成多个Stage，每个Stage中包含了多个Task，每个Task会被TaskScheduler分发给各个WorkerNode上的Executor去执...

转换操作指的是在原RDD实例上进行计算，然后创建一个新的RDD实例。RDD中的所有的转换操作都是惰性的，在执行RDD的转换操作的时候，并不会直接计算结果，而是记住这些应用到基础数据集上的转换动作，只有行动操作时，这些转...

transformation：惰性、实际没有执行、直到action操作才真正运行表1RDD转换操作（rdd1={1,2,3,3}，rdd2={3,4,5})action操作：行动操作接受RDD，但是返回非RDD，即输出一个值或者结果窄依赖是指父RDD...

RDD操作包括两种类型：转换（Transformation）和行动（Action）。RDD每次转换操作都会都会产生新的RDD，供下一转换或行动使用，所以叫惰性求值，转换只记录了轨迹，不执行，行动才执行。行动操作会对RDD计算出一个结果，并把结果...

转换：Transformation，行动：ActionRDD算子分类，大致可以分为两类，即：1. Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。2. Action：行动算子，这类算子会触发SparkContext...

Execution执行Shuffle、Join、Sort等计算过程中的临时数据：Execution堆内内存=(spark.executor.memory–300MB)*spark.memory.fraction*(1-spark.memory.storageFraction)other：主要用于存储RDD转换操作所需要的...

2.Executor会启动一个BlockManagerSlave，管理Block数据并向BlockManagerMaster注册该Block3.当RDD不再需要存储的时候，BlockManagerMaster将向BlockManagerSlave发送指令删除相应的Block。Transformation：转换算子，这类转换并不触发...

所以传入split:Partition对应的RDD特点第二点protecteddefgetPartitions:Array[Partition]：拿到分区，RDD是由一系列的分区构成，所以得到的一定是分区Array[Partition]对应着第一大特点......

在某些场景下，例如，在SparkStreaming中，针对数据进行update操作，或者调用Streaming提供的window操作时，就需要恢复执行过程的中间状态。此时，需要通过Spark提供的checkpoint机制，以支持操作能够从checkpoint得到恢复。三、RDD的...

RDD由很多partition构成，在spark中，计算式，有多少partition就对应有多少个task来执行2）Afunctionforcomputingeachsplit对RDD做计算，相当于对RDD的每个split或partition做计算3）Alistofdependenciesonother...