当前位置:首页 > 虚拟机 > 正文

三台虚拟机搭建hadoop


一、vmware搭建hadoop集群需要多大空间前段时间我用了3台20G存储、1G内存的虚拟机来搭建。
01安装master并在其上设置namenode;02和03分别安装一个slave并设置一个datanode。zk集群最少部署需要3台,每台机器都要安装。
二、搭建成功之后重新开启UBUNTU,怎么启动hadoop最终成功创建了一个完全分布式的Hadoop环境。其中最长的延迟是datanode无法启动。事实上,这是我犯下的一个低级错误。
三台虚拟机,一主二备。
第一个错误,检查日志,文件配置中有拼写错误。
从第二次到第九次,从站无法连接到主站。我检查了以下方向:
1。确认主从防火墙已关闭。
2.仔细检查配置文件:尝试和r的master和ip值。
3.现第一个错误,修改完成后,formatnamenode未能成功,这是因为配置的和文件目录没有被删除。并且必须手动删除master和slave对应的文件夹。
连接。配置好SSH无密码登录后,需要连接一次(第一次连接会要求输入yes吗?)这是我花费时间最长的地方。主站加入从站,从站也加入主站。然后格式化,启动Hadoop和jps检查进程是否已成功启动。
通过这次的环境搭建,我学会了尝试分析日志来发现问题,并且一步步排除可能的原因,找到最终的原因。
相关阅读:
在Ubuntu13.04上搭建Hadoop环境