1. 首页首页
  2. 科技前沿科技前沿

2025年CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVE

科技前沿 • • 阅读 48

CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVECentOS7 安装 Spark3 3 0 ON YARN 集群并整合 HIVE Spark On HIVE 1 下载 bin 压缩包 2 测试 local 模式 2 安装 python3 3 Spark On Yarn 模式 的环境搭建 3 1 修改 spark env sh 文件 3 2 修改 hadoop 的 yarn site xml 3 3

大家好，我是讯享网，很高兴认识大家。


讯享网

CentOS7安装Spark3.3.0 ON YARN集群并整合HIVE, Spark-On-HIVE

  • 1.下载bin压缩包
  • 2. 测试local模式
  • 2 安装python3
  • 3. Spark On Yarn 模式 的环境搭建
    • 3.1 修改 spark-env.sh 文件
    • 3.2 修改hadoop的yarn-site.xml
    • 3.3 Spark设置历史服务地址
    • 3.4 设置日志级别
    • 3.5 配置依赖spark jar包
    • 3.6 spark application ON YARN 测试
  • 4. SparkSQL整合Hive
    • 4.1 将hive-site.xml拷贝到spark安装路径conf目录
    • 4.2 将mysql的连接驱动包拷贝到spark的jars目录下
    • 4.3 修改 hive/conf/hive-site.xml，开启hive的metadata服务
    • 4.4. 测试Sparksql整合Hive
小讯
上一篇 2025-03-24 22:41
下一篇 2025-01-28 23:21

相关推荐

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/66281.html