用三台云服务器搭建hadoop完全分布式集群
- 一、硬件准备
-
- (一)集群配置
- (二)集群规划
- (三)Hadoop、Zookeeper、Java、CentOS版本
- 二、基础环境配置
-
- (一)关闭防火墙
- (二)修改主机名
- (三)主机映射
- (四)时间同步
-
- 1.查看主机时间
- 2.选择时区
- 3.时间同步协议NTP
- (五)定时任务crontab
- (六)配置ssh免密
- 三、安装jdk
-
- (一)创建安装目录和软件包存放目录
- (二)修改环境变量
- (三)查看java版本,确认安装成功:
- 四、Zookeeper安装
-
- (一)安装Zookeeper
- (二)配置系统环境变量
- (三)标识节点
- (四)启动集群
- 五、Hadoop安装
-
- (一)修改hadoop-env.sh
- (二)修改yarn-env.sh
- (三)修改主要配置
-
- 1.修改core-site.xml
- 2.修改hdfs-site.xml
- 3.修改yarn-site.xml
- 4.修改mapred-site.xml
- 5.修改slaves
- 六、启动集群
-
- (一)启动Zookeeper
- (二)初始化NameNode
- (三)初始化HA状态
- (四)启动HDFS
- (五)启动YARN
- (六)查看集群
-
- 1.启动HDFS查看集群
- 2.启动YARN后查看集群
- (七)跑一个wordcount 案例
- 七、问题汇总
-
- (一)虚拟机上不了网
- (二)命令不可用
- (三)Hadoop格式化出错
- (四)Windows 主机无法通过IP地址访问HDFS
- (五)Hadoop启动报错
- 八、本地eclipse连接集群
-
- (一)工具说明
- (二)插件安装
- (三)配置⽂件log4j.properties
- (四)执⾏程序Run on Hadoop
- (五)拓展:本地集群运⾏模式
- 九、Eclipse连接Hadoop

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/80247.html