2025年redhat6.10安装教程(redhat6.2安装教程)

redhat6.10安装教程(redhat6.2安装教程)span id Label3 p 首先先不看理论 搭建起环境之后再看 p 搭建伪分布式是为了模拟环境 调试方便 电脑是 win10 用的虚拟机 VMware Workstation 12 Pro 跑的 Linux 系统是 centos6 5 装的 hadoop2 6 0 jdk1 8 1 准备工作 准备工作 span

大家好,我是讯享网,很高兴认识大家。



 <span id="Label3"><p>  首先先不看理论,搭建起环境之后再看;</p> 

讯享网

  搭建伪分布式是为了模拟环境,调试方便。

  电脑是win10,用的虚拟机VMware Workstation 12 Pro,跑的Linux系统是centos6.5 ,装的hadoop2.6.0,jdk1.8;

  1.准备工作

  准备工作:把JDK和Hadoop安装包上传到linux系统(hadoop用户的根目录)

  系统环境:IP:192.168.80.99,

  linux用户:

  root/,hadoop/

  主机名:node

  把防火墙关闭,root执行:service iptables stop

  2.jdk安装

  1.hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar -zxvf jdk-8u65-linux-x64.tar.gz 解压完成后,在hadoop用户的根目录有一个jdk1.8.0_65目录

  2.配置环境变量,需要修改/etc/profile文件(root用户操作切到root用户,输入su命令 vi /etc/profile 进去编辑器后,输入i,进入vi编辑器的插入模式profile文件最后添加

JAVA_HOME=/home/hadoop/jdk1.8.0_65

export PATH=$PATH:$JAVA_HOME/bin

  编辑完成后,按下esc退出插入模式输入:,这时在左下角有一个冒号的标识

  q   退出不保存

  wq 保存退出

  q!   强制退出

  3.把修改的环境变量生效(hadoop用户操作)

  执行source /etc/profile

  4.执行 java -version 查看版本,如果成功证明jdk配置成功

  

  3.Hadoop 安装

  1.在hadoop用户的根目录,解压hadoop用户操作

    tar -zxvf hadoop-2.6.0.tar.gz


讯享网

   解压完成在hadoop用户的根目录下有一个hadoop-2.6.0目录

  2.修改配置文件hadoop-2.6.0/etc/hadoop/hadoop-env.shhadoop用户操作

    export JAVA_HOME=/home/hadoop/jdk1.8.0_65

  3.修改配置文件hadoop-2.6.0/etc/hadoop/core-site.xml,添加(hadoop用户操作

  

<property>

<name>fs.defaultFS</name>

<value>hdfs://node:9000</value>

</property>

  4.修改配置文件hadoop-2.6.0/etc/hadoop/hdfs-site.xml,添加hadoop用户操作

  

<property>

<value>1</value>

</property>

  5.修改修改配置文件hadoop-2.6.0/etc/hadoop/mapred-site.xml hadoop用户操作),这个文件没有,需要复制一份

  6.修改配置文件hadoop-2.6.0/etc/hadoop/yarn-site.xml,添加(hadoop用户操作

&lt;property&gt;

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt;

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;value&gt;mapreduce_shuffle&lt;/value&gt;

&nbsp;&nbsp;&nbsp;&nbsp;&lt;/property&gt;

  

  7.修改主机名称(root用户操作),重启生效

    192.168.44.199(用自己的ip,下边讲如何获得) node

  附:查看ip地址

  编辑-->虚拟网络编辑器

技术分享

  net模式,选DHCP设置,得到ip地址起始

技术分享

  

点右边小电脑,选择 VPN Connections–&gt;Configue VPN

技术分享

选中eth0,点有右边edit

技术分享

选择IP Settings ,根据自己的ip按图修改,Address就是你的ip地址,在起始ip地址和结束ip地址之间选一个就行

技术分享

  9.格式化HDFS,在hadoop解压目录下,执行如下命令:(hadoop用户操作

    bin/hdfs namenode -format

  注意:格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在/tmp目录里执行 rm –rf *

  10.启动集群,在hadoop解压目录下,执行如下命令:(hadoop用户操作,截图用机后来改过,主机为gp

    启动集群:sbin/start-all.sh &nbsp;&nbsp;需要输入四次当前用户的密码(通过配置ssh互信解决,截图用机已经配置过ssh不用输密码)

技术分享

   启动后,在命令行输入jps有以下输出

技术分享

关闭集群:sbin/stop-all.sh &nbsp;需要输入四次当前用户的密码(通过配置ssh互信解决,我的同上)

&nbsp;技术分享

  4.SSH互信配置(hadoop用户操作)
  rsa加密方法,公钥和私钥
  1.生成公钥和私钥
  在命令行执行ssh-keygen,然后回车,然后会提示输入内容,什么都不用写,一路回车
  在hadoop用户根目录下,有一个.ssh目录
  id_rsa 私钥
  id_rsa.pub 公钥
  known_hosts 通过SSH链接到本主机,都会在这里有记录
  2.把公钥给信任的主机(本机)
  在命令行输入ssh-copy-id 主机名称
  ssh-copy-id hadoop
  复制的过程中需要输入信任主机的密码
  3.验证,在命令行输入:ssh 信任主机名称
  ssh hadoop
  如果没有提示输入密码,则配置成功

&nbsp;技术分享

&nbsp;  至此,大功告成。

Hadoop新生报到(一) hadoop2.6.0伪分布式配置详解

小讯
上一篇 2025-06-08 18:07
下一篇 2025-06-10 08:36

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/188048.html