yarn logs -applicationid命令(yarn build命令)

yarn logs -applicationid命令(yarn build命令)以下是 hadoop 高可用 集群 配置的步骤 配置 hadoop 集群 的 core site xml 文件 增加如下配置 lt property gt lt name gt fs defaultFS lt name gt lt value gt hdfs mycluster lt value amp

大家好,我是讯享网,很高兴认识大家。

以下是hadoop高可用集群配置的步骤:


讯享网

  1. 配置hadoop集群的core-site.xml文件,增加如下配置:
&lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://mycluster&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;ha.<em>zookeeper</em>.quorum&lt;/name&gt; &lt;value&gt;zk1:2181,zk2:2181,zk3:2181&lt;/value&gt; &lt;/property&gt; 

讯享网
  1. 配置hadoop集群的hdfs-site.xml文件,增加如下配置:
讯享网&lt;property&gt; &lt;name&gt;dfs.nameservices&lt;/name&gt; &lt;value&gt;mycluster&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.ha.namenodes.mycluster&lt;/name&gt; &lt;value&gt;nn1,nn2&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.namenode.rpc-address.mycluster.nn1&lt;/name&gt; &lt;value&gt;node1:8020&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.namenode.rpc-address.mycluster.nn2&lt;/name&gt; &lt;value&gt;node2:8020&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.namenode.http-address.mycluster.nn1&lt;/name&gt; &lt;value&gt;node1:50070&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.namenode.http-address.mycluster.nn2&lt;/name&gt; &lt;value&gt;node2:50070&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.namenode.shared.edits.dir&lt;/name&gt; &lt;value&gt;qjournal://node1:8485;node2:8485;node3:8485/mycluster&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.journalnode.edits.dir&lt;/name&gt; &lt;value&gt;/data/journal&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.ha.fencing.methods&lt;/name&gt; &lt;value&gt;sshfence&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.ha.fencing.ssh.private-key-files&lt;/name&gt; &lt;value&gt;/home/<em>hadoop</em>/.ssh/id_rsa&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;dfs.ha.automatic-failover.enabled&lt;/name&gt; &lt;value&gt;true&lt;/value&gt; &lt;/property&gt; 
  1. 配置hadoop集群的mapred-site.xml文件,增加如下配置:
&lt;property&gt; &lt;name&gt;mapreduce.framework.name&lt;/name&gt; &lt;value&gt;yarn&lt;/value&gt; &lt;/property&gt; 
  1. 配置hadoop集群的yarn-site.xml文件,增加如下配置:
讯享网&lt;property&gt; &lt;name&gt;yarn.resourcemanager.ha.enabled&lt;/name&gt; &lt;value&gt;true&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.cluster-id&lt;/name&gt; &lt;value&gt;mycluster&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.ha.rm-ids&lt;/name&gt; &lt;value&gt;rm1,rm2&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.hostname.rm1&lt;/name&gt; &lt;value&gt;node1&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.hostname.rm2&lt;/name&gt; &lt;value&gt;node2&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.webapp.address.rm1&lt;/name&gt; &lt;value&gt;node1:8088&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.webapp.address.rm2&lt;/name&gt; &lt;value&gt;node2:8088&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;yarn.resourcemanager.zk-address&lt;/name&gt; &lt;value&gt;zk1:2181,zk2:2181,zk3:2181&lt;/value&gt; &lt;/property&gt; 
  1. 配置zookeeper集群的zoo.cfg文件,增加如下配置:
server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888 
  1. 在每个节点上创建一个myid文件,文件内容为该节点在zookeeper集群中的编号,例如在node1上创建myid文件,文件内容为1。
  2. 启动zookeeper集群
  3. hadoop集群的每个节点上启动journalnode:
讯享网<em>hadoop</em>-daemon.sh start journalnode 
  1. 在namenode1上格式化hdfs:
hdfs namenode -format 
  1. 在namenode1上启动hdfs:
讯享网start-dfs.sh 
  1. 在namenode1上启动yarn:
start-yarn.sh 
  1. 在namenode1上启动自动故障转移:
讯享网hdfs haadmin -transitionToActive nn1 
  1. 在namenode2上启动hdfs:
start-dfs.sh 
  1. 在namenode2上启动yarn:
讯享网start-yarn.sh 
  1. 在namenode2上启动自动故障转移:
hdfs haadmin -transitionToStandby nn2 
  1. 测试hadoop高可用集群是否正常工作。

小讯
上一篇 2025-05-31 22:08
下一篇 2025-05-22 11:14

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/152018.html