spark内存越大越好吗(spark支持多大内存)

Spark使用内存计算将数据缓存在内存中以便快速访问，而MapReduce则将数据写入磁盘，导致IO延迟和磁盘开销。Spark如此快的原因之一是它可以在不同操作期间将数据集持久或缓存在内存中。

当一个RDD被持久化时，每个节点都会将计算出的分片结果保存在内存中，并在该RDD或派生RDD上的其他操作中重用它们，这使得后续操作变得更加快速。RDD相关的持久化和缓存是Spark最重要的特性之一。可以说，缓存是Spark中构建迭代算法和快速交互式查询的关键。

Spark采用DAG调度引擎，可以在内存中构建DAG，避免重复计算和数据重复。但MapReduce采用简单的Map-Shuffle-Reduce模型，无法充分利用资源，造成资源浪费。支持弹性分布式数据集，允许数据多次处理并在多个计算节点之间共享。

Spark内存计算

主要通过将计算所需的数据缓存在集群节点的内存中来实现高速运算，进行集群计算在记忆中。使Spark能够运行迭代算法，因为程序可以对数据进行检查点并将其引用回来，从而避免从磁盘重新加载。此外，它还支持极快的交互式查询和流数据分析。由于Spark与YARN兼容，因此它可以在现有Hadoop集群上运行并访问任何Hadoop数据源，包括HDFS和Cassandra。

SparkAPI不仅支持map和reduce，还提供了许多强大的分布式抽象。这些抽象也与函数式编程相关，包括sample、filter、join、collect等。此外，然Spark是用Scala实现的，但Scala、Java、R和Python的编程API使许多数据科学家更容易使用Spark，快速充分利用Spark引擎。