基于hadoop-2.8.5下的云环境搭建
- 一、Hdfs搭建过程（By 傩傩）
-
- 1、准备
- 2、编写dockerfile
- 3、构建镜像
- 4、根据构建好的镜像创建并进入容器
- 5、修改配置
- 6、启动集群
- 7、检查
- 8、打包（可选操作）
- 二、yarn配置（By Ninght）
-
- 1.基本参数配置
-
- 1>.yarn.resourcemanager.hostname
- 2>.yarn.resourcemanager.address
- 3>.yarn.resourcemanager.webapp.address
- 4>.yarn.resourcemanager.scheduler.address
- 5>.yarn.resourcemanager.resource-tracker.address
- 6>.yarn.resourcemanager.admin.address
- 7>.yarn.nodemanager.aux-services
- 8>.yarn.log-aggregation-enable
- 9>. yarn.log-aggregation.retain-seconds
- 10>.yarn.application.classpath
- 11>.yarn.nodemanager.pmem-check-enabled
- 12>.yarn.nodemanager,vmem-check-enabled
- 2.遇见问题及解决方法
- 三、spark搭建过程（By 哎呀）
-
- 1、安装Spark3.0.0
- 2、修改配置文件
- 3、启动spark集群
- 4、提供一个测试代码
- 四、hdfs、spark、spark搭建过程的改进与整合（By 傩傩）
-
- 1、改进思路：
- 2、编写含hdfs、yarn、spark、java在内的dockerfile：FROM centos:centos7
- 3、根据dockerfile创建镜像
- 4、创建容器
-
- 1.
- 2.
- 五、可能遇到的问题及解决方法（By 傩傩、Ninght）
-
- 一、运行Dockerfile构建镜像过程中RUN yum出错
- 二、ssh连接失败
- 三、成功拉起hdfs、yarn、spark等服务后却无法打开web ui界面
- 四、用start-dfs.sh启动hdfs的时候没有报错，但查看从节点的jps却没有datanode
- 五、启动yarn时只能拉起nodemanager而不能拉起resourcemanager
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/68381.html