虚拟机搭建hadoop集群

---

一、如何在vmware中搭建hadoop集群原始文档，转载时请保留原始URL地址
Hadoop，俗称分布式计算，最早作为开源项目使用，最初来自两篇Google白皮书。然而，就像十年前的Linux一样，Hadoop虽然一开始很简单，但随着近年来大数据的出现，它也已经达到了充分展现其价值的水平。这就是为什么业界普遍认为Hadoop是下一个Linux。
本文介绍了基于多个VMware虚拟机安装Hadoop集群的流程和方法。通过这个小集群，你可以在本地计算机上研究Hadoop的相关工作流程。有人可能会有疑问，如何在小型虚拟机上安装Hadoop集群，根据集群研究结果，写好的程序能在大型集群上成功运行吗？肯定没有问题。
Hadoop的一个特性是线性增长特性，即当前数量的处理时间为1。如果数据量增加一倍，后处理时间增加一倍，处理能力增加一倍，处理时间也增加一倍1..
通常情况下，Hadoop需要搭建多台服务器，但我们来学习一下如何在家里找到这样的服务器。解决办法是找几台PC，在这些PC上安装Linux系统。
当然，我们还有更简单的办法，就是找一台高性能的电脑，在电脑上安装虚拟机软件，在里面创建几个虚拟机，然后让这些虚拟机组成一个小的内部局部区域在这个网络上我们安装Linux软件、Java软件和Hadoop程序。我们可以创建一个简单的Hadoop研究系统并进行软件开发和调试。在这个小型分布式集群上开发的程序可以无缝移植到同一个网络中。集群中的Hadoop版本（不同Hadoop版本的兼容性不是很好，特别是低版本和高版本，它们的API也有细微的变化）。