1. 首页首页
  2. 科技前沿科技前沿

pyspark读取mysql（pyspark.sql）

科技前沿 • • 阅读 43

pyspark读取mysql（pyspark.sql）导入模块 from pyspark sql import SparkSession 创建 Spark 会话对象 spark SparkSession builder appName Read MySQL getOrCreate 或者写成一行 spark SparkSession builder appName

大家好，我是讯享网，很高兴认识大家。

 

# 导入模块
from pyspark.sql import SparkSession

#







 创建Spark会话对象 spark = SparkSession.builder .appName(“Read MySQL”) .getOrCreate()

讯享网

# 或者写成一行

spark = SparkSession.builder.appName(“Read MySQL”).getOrCreate()


讯享网

# 设置JDBC连接参数 url = “jdbc:mysql://localhost/mydatabase” properties = { “user”: “username”, “password”: “password”, “driver”: “com.mysql.cj.jdbc.Driver” }

# 通过format指定要读取的格式为jdbc，并传入相应的URL、属性等信息
# 使用来加载MySQL表中的数据到DataFrame中



 df = spark.read.format(“jdbc”).option(“url”, url).options(properties) .option(“dbtable”, “tablename”).load()

# 或者每一个属性单独写一行

df = spark.read.format(“jdbc”)
　　.option(“url”, mysql_url)
　　.option(“user”, user)
　　.option(“password”, password)
　　.option(“driver”, “com.mysql.cj.jdbc.Driver”)
　　.option(“dbtable”, dbtable)
　　.load() 
讯享网# 显示(打印)DataFrame内容 df.show()


小讯
上一篇 2025-05-04 20:10
下一篇 2025-06-01 23:43

相关推荐

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/179321.html