以下是hadoop高可用集群配置的步骤:

- 配置hadoop集群的core-site.xml文件,增加如下配置:
<property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>ha.<em>zookeeper</em>.quorum</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property>
讯享网
- 配置hadoop集群的hdfs-site.xml文件,增加如下配置:
讯享网<property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>node1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>node2:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>node1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>node2:50070</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/data/journal</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/<em>hadoop</em>/.ssh/id_rsa</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property>
- 配置hadoop集群的mapred-site.xml文件,增加如下配置:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
- 配置hadoop集群的yarn-site.xml文件,增加如下配置:
讯享网<property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>mycluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>node1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>node2</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>node1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>node2:8088</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property>
- 配置zookeeper集群的zoo.cfg文件,增加如下配置:
server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888
- 在每个节点上创建一个myid文件,文件内容为该节点在zookeeper集群中的编号,例如在node1上创建myid文件,文件内容为1。
- 启动zookeeper集群。
- 在hadoop集群的每个节点上启动journalnode:
讯享网<em>hadoop</em>-daemon.sh start journalnode
- 在namenode1上格式化hdfs:
hdfs namenode -format
- 在namenode1上启动hdfs:
讯享网start-dfs.sh
- 在namenode1上启动yarn:
start-yarn.sh
- 在namenode1上启动自动故障转移:
讯享网hdfs haadmin -transitionToActive nn1
- 在namenode2上启动hdfs:
start-dfs.sh
- 在namenode2上启动yarn:
讯享网start-yarn.sh
- 在namenode2上启动自动故障转移:
hdfs haadmin -transitionToStandby nn2
- 测试hadoop高可用集群是否正常工作。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/152018.html