spark数据常驻内存

---

一、spark是不是要求内存足够大Spark的内存要求
虽然Spark是一个内存计算平台，但从官方信息来看，内存要求并不是特别苛刻。官网只要求内存8GB以上（Impala要求机器配置到128GB）。当然，为了高效处理，内存越大越好。如果内存超过200GB，请小心，因为JVM很难管理超过200GB的内存，需要特殊配置。
为了内存容量足够大，必须分配给Spark。Spark建议至少75%的内存空间分配给Spark，剩余的内存空间分配给操作系统和缓冲区缓存。这就要求部署Spark的机器足够干净。
考虑到内存消耗的问题，如果我们要处理的数据只处理一次，用完就丢弃，那么我们应该避免使用缓存或者继续减少内存消耗。如果确实需要将数据加载到内存中，但是内存不够，可以设置StorageLevel。Spark0.9版本提供了三种存储级别：MEMORY_ONLY（这是默认值）、MEMORY_AND_DISK和DISK_ONLY。

---

二、大疆晓spark支持多大呢?sd卡Spark支持最大容量为64GB的MicroSD卡，传输速度为Class10或更高或UHS-1等级。
Spark推荐存储卡列表：
Sandisk16/32GBUHS-1MicroSDHC;
Kingston16/32GBUHS-1MicroSDHC;
Samsung16/32GBUHS-IMicroSDHC;
Sandisk64GBUHS-1MicroSDXC;
/>金士顿64GBUHS-1MicroSDXC；
三星64GBUHS-IMicroSDXC。