2025年关于搭建hadoop集群的配置和错误总结

关于搭建hadoop集群的配置和错误总结首先说一些我的关于 hadoop 的配置吧 hadoop 集群的主要配置文件有 hadoop env sh 配置 hadoop 运行所需的环境变量 yarn env sh 配置 yarn 运行所需的环境变量 core site xml hadoop 核心全局配置文件 可在其他配置文件中引用 hdfs site

大家好,我是讯享网,很高兴认识大家。

首先说一些我的关于hadoop的配置吧:

  • hadoop集群的主要配置文件有:
  1. hadoop-env.sh:配置hadoop运行所需的环境变量
  2. yarn-env.sh:配置yarn运行所需的环境变量
  3. core-site.xml:hadoop核心全局配置文件,可在其他配置文件中引用
  4. hdfs-site.xml:HDFS配置文件,继承core-site.xml配置文件
  5. mapred-site.xml:MapReduce配置文件,继承core-site.xml
  6. yarn-site.xml:yarn配置文件,继承core-site.xml
  • 关于hadoop-env.sh
    这个里面需要配置JAVA_HOME,也就是配置一下jdk的安装路径
    # The java implementation to use. export JAVA_HOME=/export/servers/jdk 

    讯享网
  • 关于core-site.xml的配置
    讯享网<configuration> <!-- 用于指定hadoop的文件系统 --> <property> <name>fs.defaultFS</name> <!-- 指定namenode在hadoop001这台机器上 --> <value>hdfs://hadoop001:9000</value> </property> <property> <!-- 配置Hadoop临时文件存储目录 --> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop-2.7.4/tmp</value> </property> </configuration> 
    这里配置了Hadoop集群的主节点位置,同时配置了hadoop的临时文件存储的目录(注意这个tmp:namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空tmp一下的所有目录,如果不清空tmp下的文件,就会导致datanode启动不成功)
  • 关于hdfs-site.xml的配置
    <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop002:50090</value> </property> </configuration> 
    这里配置了HDFS数据块的副本数量,默认为3,此处不必配置,并且设置了secondarynamenode的主机是谁
  • 关于mapred-site.xml的配置
    讯享网<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 
    这里的配置很简单,就是配置了我们hadoop的mapReduce的运行框架为yarn,下面就是关于yarn的配置
  • yarn-site.xml的配置
    configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop001</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration> 
    在这里,我们配置了yarn的主进程resourceManager运行的主机为hadoop001,并且配置了关于nodeManager运行的附属服务mapreduce_shuffle,只有配置这个才能正常运行MapReduce默认程序,后面分别是定义nodemanager上要提供正在运行的容器的全部可用资源大小,资源管理器中分配给每个容器请求的最小内存限制,nodemanager可以分配的cpu核数。

中间关于hadoop集群配置出现的问题

  • 问题一:配置完成后,namenode不能启动
    解决方案:
    1. 先是再次将主节点再次格式化,hdfs namenode -format,再次启动hadoop,无效。
    2. 查看日志:ulimit -a for user root,网上查询原因得到:datanamenode运行时打开文件数,达到系统最大限制当前最大限制,ulimit -n 65536,调整最大文件数再次启动hadoop,无效。
    3. 检查配置文件,发现core-site.xml中关于配置hadoop集群主节点位置,属性的名称写错了… 解决
  • 问题二:解决namenode之后可以正常启动了,但是jps发现进程中没有nodemanager,启动之后就挂掉,就是nodemanager总是掉线
    解决方案:修改配置文件yarn-site.xml
    讯享网 <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> 

    分别是定义nodemanager上要提供正在运行的容器的全部可用资源大小,资源管理器中分配给每个容器请求的最小内存限制,nodemanager可以分配的cpu核数, 问题解决。


    讯享网

  • 问题三:修改了上述问题后,又格式化了一下hdfs的文件系统,重新启动hadoop竟然发现,datanode不能成功启动
    解决方案:
    问题原因:namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败。
    解决:清空hadoop安装目录下的tmp目录,也就是之前配置文件中指定的tmp目录,重新启动tmp,注意:我是三台,所以三台机器都要清空tmp下的文件,成功解决。

坎坷的道路

小讯
上一篇 2025-04-07 21:22
下一篇 2025-01-10 23:39

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/81513.html