当前位置:首页 > 虚拟机 > 正文

hadoop部署在虚拟机


一、Hadoop安装创建Hadoop用户
eradd-mhadoop
2。sudopasswdhadoop
3:最后注销当前用户(点击屏幕右上角齿轮,选择注销),返回登录界面。在登录界面选择刚刚创建的Hadoop用户进行登录。
5.再次登录查看当前用户是谁:whoami已成功出现在hadoop上
6.更新aptsudoapt-getupdateupdateapt3br/>7.配置无密码访问sudoapt-getinstallsshsudoapt-getinstallpdsh以安装ssh
8.安装Java环境sudoaptinstallopenjdk-8-jdk安装Java
9。进入vim~/.bashrc后按I,输入exportJAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
10.按esc然后按:wq!步骤并修改source~/.bashrc环境变量。输入java-version查看
11.安装Hadoopwget
二、如何ubuntu虚拟机上安装hadoop安装步骤
1.首先,下载安装包。
2.将安装包解压到虚拟机中。
3.安装目录文件夹、tmp、hdfs、hdfs/data、hdfs/name
4.修改/home/yy/hadoop-2.7.1/etc/hadoop中的配置文件
修改,加上
tFS
hdfs://s204:9000

文件:/home/yy/hadoop-2.7.1/tmp

131702
5.修改,添加

file:/home/yy/hadoop-2.7.1/dfs/name
。dir
文件:/home/yy/hadoop-2.7.1/dfs/data
ation
2
-address
s204:9001
d
true
6.编辑并添加

yarn
s
s204:10020
jobhistory。.s
s204:19888
7.编辑并添加
-services
mapreduce_shuffle
yarn。.
eHandler
s
s204:8032
s
s204:8030
s
s204:8031
s
s204:8033
纱线.s
s204:8088
-mb
768
8/home/yy/hadoop配置-2.7。1/etc/hadoop目录下的和中的JAVA_HOME。否则启动时会报错。
exportJAVA_HOME=/home/yy/jdk1.8
9.在/home/yy/hadoop-2.7.1/etc/hadoop目录中配置slave。
添加slave服务器。这里只有一台s205。
配置成功后复制。在每个从服务器上运行hadoop
scp-r/home/yy/hadoop-2.7.1root@s205:/home/yy/
10.在主服务器上运行bin/hdfsnamenode-format。初始化服务器
在sbin目录下运行./
可以使用jps查看信息
要停止,输入命令sbin/stop-。
11.此时可以在浏览器中打开s204:8088查看集群信息。
至此配置完成
hadoop
三、生产环境hadoop集群部署在物理机上好还是虚拟机上好如果配置高的话,安装多个虚拟机。如果配置很少,您可以部署伪发行版。