<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>本文以MySQL和HBASE为例，简要介绍Spark通过PyMySQL和API算子对外部数据库的读写操作</p> 讯享网
1、PySpark读写MySQL
MySQL环境准备参考“数据库系列之MySQL主从复制集群环境部署”部分
1.1 PyMySQL和MySQLDB模块
PyMySQL是在Python3.x版本中用于连接MySQL服务器的一个库，Python2中则使用mysqldb，目前在Python 2版本支持PyMySQL。使用以下命令安装PyMysql模块：
讯享网
连接到MySQL数据库
1.2 Spark数据写入MySQL
1）启动MySQL服务并检查
讯享网
2）创建MySQL表
3）向MySQL中写入数据
- 启动ipython notebook
讯享网
- 建立MySQL连接，写入数据
- 查询MySQL表数据
1.3 Spark读取MySQL数据
1）下载mysql-connect-java驱动，并存放在spark目录的jars下
2）运行pyspark，执行以下语句
讯享网
2、PySpark读写HBASE
HBASE环境准备参考“大数据系列之HBASE集群环境部署”部分，HBASE版本为1.2.6，Hadoop版本为2.9.0，Spark版本为2.3.0。注：使用高版本的HBASE如2.1.0出现NotFoundMethod接口问题。
2.1 Spark读写HBASE模块
1）saveAsNewAPIHadoopDataset模块
Spark算子saveAsNewAPIHadoopDataset使用新的Hadoop API将RDD输出到任何Hadoop支持的存储系统，为该存储系统使用Hadoop Configuration对象。saveAsNewAPIHadoopDataset参数说明如下：
2）newAPIHadoopRDD模块
使用新的Hadoop API读取数据，参数如下：
讯享网
2.2 Spark数据写入HBASE
1）启动HBASE服务
在Master和Slave服务器使用jps查看HMaster和HRegionServer进程：
讯享网
注：启动HBASE之前需先启动zookeeper集群和Hadoop集群环境
2）创建HBASE表
3）配置Spark
在Spark 2.0版本上缺少相关把hbase的数据转换python可读取的jar包，需要另行下载
https://mvnrepository.com/artifact/org.apache.spark/spark-examples_2.11⁄1.6.0-typesafe-001
- 上传jar包到spark lib库
讯享网
- 编辑spark-env.sh，添加以下内容：
- 拷贝HBASE下的lib库到spark下
讯享网
- 重启HBASE
4）向HBASE中写入数据
- 启动ipython notebook
讯享网
- 配置初始化
- 初始化数据并序列化转换为RDD
讯享网
- 调用saveAsNewAPIHadoopDataset模块写入HBASE
- 查询HBASE中表数据，看到插入数据
2.3 Spark读取HBASE数据
Spark读取HBASE数据使用newAPIHadoopRDD模块
1）配置初始化
讯享网
2）调用newAPIHadoopRDD模块读取HBASE数据
输出结果如下：
参考资料
- http://spark.apache.org/docs/latest/api/python/pyspark.html
- 数据库系列之MySQL主从复制集群环境部署
- 大数据系列之HBASE集群环境部署
转载请注明原文地址：https://blog.csdn.net/solihawk/article/details/
文章会同步在公众号“牧羊人的方向”更新，感兴趣的可以关注公众号，谢谢！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/146443.html