当前位置:首页 > 虚拟机 > 正文

快速搭建虚拟机集群


一、如何在vmware中搭建hadoop集群原文,转载时请保留原文网址
Hadoop,俗称分布式计算,最早作为一个开源项目使用,最初脱胎于两篇Google白皮书。然而,就像十年前的Linux一样,Hadoop虽然一开始很简单,但随着近年来大数据的兴起,它也向前迈出了一步,充分展现了它的价值。这就是为什么业界普遍认为Hadoop是下一个Linux。
本文介绍了基于多个VMware虚拟机安装Hadoop集群的流程和方法。通过这个小集群,您可以在本地计算机上研究相关的Hadoop工作流程。有些人可能对如何执行此操作有疑问。在小型虚拟机上安装Hadoop集群根据集群研究成果,编写的程序能在大型集群上运行良好吗?这绝对不是问题。
Hadoop的一个特性是线性增长特性,即在当前数量下,处理时间为1。如果数据量增加一倍,则后期时间加倍处理。处理能力增加了一倍,处理时间也增加了1。通常Hadoop需要构建更多的服务器,但我们正在学习如何在家里找到这样的服务器。解决办法就是找几台PC,安装Linux系统。在电脑上。
当然,我们还有更简单的办法,就是找一台高性能的电脑,在电脑上安装虚拟机软件,在上面创建几个虚拟机,然后让这些虚拟机组成一个小的内部局部区域。在这个网络上我们安装Linux软件、Java软件和Hadoop程序。我们可以创建一个简单的Hadoop搜索系统并进行软件开发和调试。在这个小型分布式集群上开发的程序可以透明地移植到同一个网络上。集群中的hadoop版本(不同版本的hadoop兼容性不是很好,特别是低版本和高版本,他们的API也有细微的变化)。