分布式集群虚拟化

---

一、hadoop，spark在虚拟机集群里跑还有性能上的优势吗作为分布式计算平台，性能是一个非常重要的指标，但肯定不是唯一的指标。从纯粹的性能角度来看，硬件资源是固定的，虚拟化增加了开销，必然会减少。但虚拟化还会带来一些其他的功能。
隔离资源。有些组是定制的。例如，如果您在三台设备上只运行一个Spark，那就没问题。但在很多小团体中，设备有限，就得跑spark，比如zookeeper、kafka等。这个时候，我们希望他们不要互相干扰。假设你的spark配置没做好，内存占用很高，你不想影响你的zookeeper，导致他死掉。目前，虚拟机或容器技术可以隔离物理资源来防止这种情况。
快速部署，简化配置。无论对于初学者还是老手来说，这样做最痛苦的事情就是配置和部署不同的框架，这需要大量的重复工作和很少的思考。所以，你当然希望有一种方法可以保存你已经配置为直接镜像的环境，然后当集群扩容的时候，比如又添加了一台物理机，你想把它转过来分成三个虚拟机，两台机器运行Spark，另一台设备运行Zookeeper。这很容易。只需复制2份Spark镜像和1份Zookeeper镜像一旦网络配置并运行，一切都会非常顺利......
调度模块。在更高级的应用程序中，数据平台为整个群体或受众提供服务。用户A想要资源来运行自己的应用程序，用户B也想要运行自己的应用程序。从安全或管理的角度来看，您不想在这种情况下感到困惑，虚拟机也是一种解决方案。如果你创建一个更高级的调度程序，当你感觉Spark工作负载很重时，你可以运行一个zk镜像，反之亦然，并且当有虚拟机需要隔离时，这些作业会简单得多。
想了想一些原因，肯定有很多虚拟化领域的专家。毕竟，分布式计算是虚拟化技术的受益者之一。
问题中提到了性能当然，虚拟化的引入肯定会对字体的性能产生影响。如果影响较大，架构设计时应根据实际需求进行选择；然而，比如容器、docker等轻量级虚拟化技术的出现，已经将它们对性能的影响降低到了很小的程度，对于大多数分布式系统来说，这种性能损失不会产生重大影响……然后你就知道了。..