虚拟机安装hadoop

---

一、如何在vmware中搭建hadoop集群原文档，转载时请保留原网址
Hadoop，俗称分布式计算，最早作为一个开源项目采用，起源于谷歌的两篇白皮书。然而，就像十年前的Linux一样，Hadoop虽然最初很简单，但随着近几年大数据的兴起，它也到了充分展现其价值的阶段。这就是为什么业界经常认为Hadoop是下一个Linux。
本文介绍了基于多个vmware虚拟机安装Hadoop集群的流程和方法。通过这个小集群，您可以在本地计算机上研究Hadoop相关工作流程。在小型虚拟机上安装Hadoop集群。根据集群研究的结果，编写的程序能否在大型集群上正常运行？那当然没问题。
Hadoop的一个特性是线性增长特性，即根据当前数量，处理时间为1。如果数据量增加一倍，后续处理时间也会增加一倍。，处理能力也加倍，处理时间也为1。。
通常情况下，Hadoop需要搭建更多的服务器，但我们学会在家里找这样的服务器。解决办法是找几台PC并安装。PC上的Linux系统。
当然，我们还有更简单的办法，就是找一台高性能的电脑，在电脑上安装虚拟机软件，在里面创建几个虚拟机，然后让机器这个虚拟区域形成一个小的局部区域在这个网络上我们安装Linux软件、Java软件和Hadoop程序。我们可以创建一个简单的Hadoop研究系统并进行软件开发和调试。在这个小型分布式集群上开发的程序可以无缝耦合到同一网络。集群中的hadoop版本（不同hadoop版本的兼容性不是很好，特别是低版本和高版本，他们的API也有小变化）。

---

二、hadoop安装及speak安装学习在Linux虚拟机上安装Hadoop和Spark，了解使用HDFS的基础知识，并了解如何使用Spark访问本地和HDFS文件。
登录Linux系统，参考本指南官网“实验指南”栏目“安装和使用Hadoop”部分，完成Hadoop伪分布式模式的安装。Hadoop安装完成后，安装Spark（本地模式）。使用Hadoop用户名登录Linux系统，启动Hadoop并参考相关Hadoop书籍或网上资料，也可以参考官网“实验指南”栏目中的“HDFS操作常用Shell命令”。这节课。
Hadoop是由Apache基金会开发的分布式系统框架。用户无需了解分布式的基本细节就可以开发分布式程序。充分利用集群进行高速计算和存储。