有一个分片列表，就是能被切分，和Hadoop一样，能够切分的数据才能并行计算。一组分片（partition），即数据集的基本组成单位，对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指...

RDD会记录它的依赖，依赖还具体分为宽依赖和窄依赖，但并不是所有的RDD都有依赖。为了容错（重算，cache，checkpoint），也就是说在内存中的RDD操作时出错或丢失会进行重算。4.Optionally,aPartitionerforKey-valueRD...

RDD是一个弹性的分布式的数据集，是spark的基本抽象，RDD是不可变的，并且它由多个partition构成（可能分布在多台机器上，可以存memory上，也可以存disk里等等），可以进行并行操作弹性：分布式计算时可容错不可变：一旦产生...

大数据里面一般是移动数据不是移动计算，所以数据本地化计算这样性能更高。defcompute(split:Partition,context:TaskContext):Iterator[T]RDD计算是对RDD里面的分区做计算，所以传入split:Partition对应的RDD特点第...

特性3：RDD之间存在血缘关系，下一个RDD可以通过上一个RDD得到特性4：RDD是基于hash-partitioned的分区，是Key-Value形式特性5：RDD进行计算时遵循数据本地性，Task会被分配到数据节点上运行。移动计算不移动数据的特性。...

一个典型的Spark程序就是通过Spark上下文环境（SparkContext）生成一个或多个RDD，在这些RDD上通过一系列的transformation操作生成最终的RDD，最后通过调用最终RDD的action方法输出结果。每个RDD都可以用下面5个特性来表示，其中后两...

RDDAPI是函数式的，强调不变性，在大部分场景下倾向于创建新对象而不是修改老对象。这一特点虽然带来了干净整洁的API，却也使得Spark应用程序在运行期倾向于创建大量临时对象，对GC造成压力。在现有RDDAPI的基础之上，...

sparkrdd中没有的特性是不支持细粒度的写和更新操作(如网络爬虫)。根据相关资料查询spark写数据是粗粒度的，所谓粗粒度，就是批量写入数据，为了提高效率，但是读数据是细粒度的也就是说可以一条条的读，就是比较麻烦。

RDD算子分类，大致可以分为两类，即：1. Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。2. Action：行动算子，这类算子会触发SparkContext提交Job作业。下面分别对两类算子进行详细...

1、SparkSQL架构特性2、DataFrame和RDD的区别3、创建操作DataFrame4、RDD转化为DataFrame5、加载保存操作与Hive表6、Parquet文件JSON数据集7、分布式的SQLEngine8、性能调优数据类型深入SparkStreaming1、SparkStreaming工作原理2、D...