2025年pyspark读取mysql(spark 读取mysql)

pyspark读取mysql(spark 读取mysql)一 项目背景 二 项目需求 nbsp nbsp nbsp nbsp 1 需求 nbsp nbsp nbsp nbsp 各省销售指标 每个省份的销售额统计 nbsp nbsp nbsp nbsp TOP3 销售省份中

大家好,我是讯享网,很高兴认识大家。



一、项目背景

二、项目需求

        (1)需求

        ①各省销售指标,每个省份的销售额统计

        ②TOP3销售省份中,有多少家店铺日均销售额1000+

        ③TOP3省份中,各个省份的平均单价

        ④TOP3省份中,各个省份的支付类型比例

        (2)要求

        ①将需求结果写出到mysql

        ②将数据写入到Spark On Hive中

三、代码实现

        (1)需求1:

        结果展示:

sparksql取余数_hive
讯享网

        MySQL数据展示:

sparksql取余数_spark_02

        Hive数据展示:

sparksql取余数_hive_03

sparksql取余数_sparksql取余数_04

        (2)需求2:

        结果展示:

sparksql取余数_hive_05

        MySQL结果展示:

sparksql取余数_spark_06

        Hive结果展示:

sparksql取余数_hive_07

sparksql取余数_hive_08

        (3)需求3:

        结果展示

sparksql取余数_hive_09

        MySQL与Hive结果展示:

sparksql取余数_sparksql取余数_10

        (4)需求4:

       结果展示:

sparksql取余数_sql_11

       MySQL结果展示:

sparksql取余数_sparksql取余数_12

        Hive结果展示:

sparksql取余数_sparksql取余数_13

四、项目运行问题及解决方法

        报错:java.sql.BatchUpdateException: Incorrect string value: ‘xE6xB1x9FxE8xA5xBF…’ for column ‘storeProvince’ atrow1

        原因:MySQL的UTF-8只支持3个字节的unicode字符,无法支持四个字节的Unicode字符

        解决办法:在MySQL控制台执行下列代码修改编码格式

sparksql取余数_spark_14

小讯
上一篇 2025-06-11 16:32
下一篇 2025-06-10 15:24

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/195512.html