本文主要介绍hadoop集群安装配置(hadoop集群下载)，下面一起看看hadoop集群安装配置(hadoop集群下载)相关资讯。
一、虚拟机环境准备
系统
主机
地址
hadoop版本
jdk版本
centos9
hadoop01
10.211.55.4
3.2.2
1.8.0_322
centos9
hadoop02
10.211.55.7
3.2.2
1.8.0_322
centos9
hadoop03
10.211.55.6
3.2.2
1.8.0_322
2.分别在三台虚拟机中配置主机，配置内容如下
10 . 211 . 55 . 4 hadoop 0110 . 211 . 55 . 7 hadoop 0210 . 211 . 55 . 6 hadoop 03三。在三台虚拟机中分别设置用户和无密登录。
添加新用户
group add hadoop useradd-d/home/hadoop-g hadoop-s/bin/bash-m hadoop visu do #在文本中的根行下添加hadoop行hadoop all=(all) all。
修改主机的主机名配置，然后重新启动。
#第一个注释配置hostname ctl set-hostname hadoop 01 #重新启动reboot#查看更改是否成功hostname#第二个注释配置hostname ctl set-hostname hadoop 01 #重新启动reboot#查看更改是否成功hostname#检查更改是否成功username#第三个注释配置hostname ctl set-hostname hadoop 01 #重新启动reboot#检查更改是否成功hostname关闭防火墙。
关闭防火墙:systemctl停止防火墙d查看状态:systemctl状态防火墙d引导禁止:systemctl禁用防火墙d秘密登录配置。
#切换到hadoop用户su hadoop# shengcheng的公钥，先检查本地密钥是否已经生成。如果是这样的话，会影响之前已经设定好的。使用以下命令来cat ~/。ssh/id_rsa.pub#如果没有，请输入以下命令在该机器上生成公钥和私钥ssh-keygen -t rsa#并将公钥复制到远程主机。在这里，三台虚拟机的公钥相互复制，这样三台服务器就可以使用ssh和hadoop账户直接登录ssh-cop。y-id -i ~/。ssh/id_rsa.pub root@ip地址
第四，集群规划
注意1: namenode和secondarynamenode不应该部署在同一个服务器上注意2:资源管理器消耗大量内存，所以不要使用。;不能与namenode和secondarynamenode部署在同一服务器上。
hadoop01
hadoop02
hadoop03
hdfs
datanode
datanode
datanode
namenode
次要名称
故事
节点管理器
节点管理器
节点管理器
资源管理器
五、开始安装
#下载并解压midir-p/opt/module/opt/software cd/opt/softwar-3.3.2/. wget hadoop-3 . 3 . 2 . tar . gztar-xzvf hadoop-3 . 3 . 2 . tar . gz-c/opt/module cd/opt/modulemv hadoop-3.3.2.tar.gz hadoop编辑的hdfs-site.xml，内容如下:
配置属性namefs.defaultfs/name value 01 : 9000/value/property属性namehadoop.tmp.dir/名称value/opt/module/hadoop/data/tmp/value/property/configuration
hdfis-site.xml
配置属性namedfs.replication/name value 3/value/property属性named fs . namenode . secondary . http-address/name value hadoop 03 : 50090/value/property属性namedfs.namenode.secondary.http值/本地文件系统上的opt/module/hadoop/dfs/name/value描述路径，namenode在其中永久存储命名空间和事务日志。/描述/属性！-property namedfs.hosts/name value hadoop 01/value description如果需要，请使用这些文件来控制允许的datanodes列表。/description/property-property namedfs.datanode.data.dir/name值/opt/module/hadoop/dfs/data/value description datanode的localfilesystem上以逗号分隔的路径列表，该文件系统应存储其块。/描述/属性/配置
yarn-site.xml
配置！-站点特定的纱线配置属性-属性nameyarn.resourcemanager.hostname/name值hadoop02/value / property属性name yarn . node manager . aux-services/name value mapreduce _ shuffle/value/property/configuration
工人
hadoop01hadoop02hadoop03
hadoop-env.sh
导出hdfs _命名节点_用户= hadoop导出hadoop _ log _ dir = $ { hadoop _ home }/logs导出hadoop _ conf _ dir = $ { hadoop _ home }/etc/hadoop导出hadoop _ home =/opt/module/hadoop export java _ home =/usr/lib/jvm/java-1 . 8 . 0-open jdk
标签:
重新开始评论
了解更多hadoop集群安装配置(hadoop集群下载)相关内容请关注本站点。