RDD是一个弹性的分布式的数据集，是Spark中最基础的抽象。它表示了一个可以并行操作的、不可变得、被分区了的元素集合。用户不需要关心底层复杂的抽象处理，直接使用方便的算子处理和计算就可以了。RDD示意图:默认情况下...

RDD的中文解释为：弹性分布式数据集，全称ResilientDistributedDatasets。宾语是dataset，即内存中的数据库。RDD只读、可分区，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。所谓弹性，是指内存不够时可以与磁...

你对RDD的理解是对的，RDD就是一个分布式的无序的列表。RDD中可以存储任何的单机类型的数据，但是，直接使用RDD在字段需求明显时，存在算子难以复用的缺点。例如，现在RDD存的数据是一个Person类型的数据，现在要求所有每个年龄...

之前对RDD的理解是，用户自己选定要使用spark处理的数据，然后这些数据经过transaction后会被赋予弹性，分布特性的特点，具备这样特点的数据集，英文缩写就是RDD。但RDD再怎么有特性，还是数据集，在我的理解里就像关系型数据库里...

即schema。RDD是分布式的Java对象的集合。DataFrame是分布式的Row对象的集合。DataFrame除了提供了比RDD更丰富的算子以外，更重要的特点是提升执行效率、减少数据读取以及执行计划的优化，比如filter下推、裁剪等。

可以从两个方面来理解RDD之间的依赖关系：一方面是该RDD的parentRDD是什么；另一方面是依赖于parentRDD的哪些Partitions；根据依赖于parentRDD的Partitions的不同情况，Spark将Dependency分为宽依赖和窄依赖两种。Spark中宽依赖...

对于变换算子可理解为分两类：1，对Value型RDD进行变换的算子；2，对Key/Value型RDD进行变换算子。在每个变换中有仅对一个RDD进行变换的，也有是对两个RDD进行变换的。将当前RDD进行重新分区，生成一个以numPartitions参数...

如何理解spark中RDD和DataFrame的结构RDD是非结构化的，DataFrame是结构化的，类似于数据库的表。

二、RDD容错机制计算环节增加之后，数据的容错机制就变得十分重要。任何一个环节出现错误或发生数据丢失，都会导致最终的计算结果出现偏差。一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模...

一、2种方法1rdd.collect().foreach{println}2rdd.take(10).foreach{println}//take(10)取前10个二、例子vallogData=sparkcontext.textFile(logFile,2).cache()logData.collect().fore...