最近在学习中，需要用spark读取mysql数据，查阅了很多资料大多是java版本的，自己琢磨了半天，研究出python版本的，本人菜鸟，本博客只会记录学习过程，如有不妥请见谅。所用spark版本为1.4.1.
先上自己找到了一些相关资料，仅供参考~~~
http://www.thebigdata.cn/QiTa/15471.html
http://www.iteblog.com/archives/1560
官方文档中 http://spark.apache.org/docs/1.4.1/sql-programming-guide.html
有介绍Spark SQL与hive，json等数据的读写。而mysql等一些数据库可通过JDBC来读取。
或：
url含义：
url=jdbc:mysql://MYSQL_HOST/MYSQL_DBNAME?user=MYSQL_USER&password=MYSQL_PASSWD”,dbtable=”MYSQL_TABLE”
MYSQL_HOST为mysql的地址，本机为localhost，MYSQL_DBNAME为数据库名，MYSQL_USER为用户名，MYSQL_PASSW为登陆密码，MYSQL_TABLE为表名。MYSQL_DBNAME可放入url中，也可放入table中。
所遇到的错误情况有一下两种：
1.java.sql.SQLException: No suitable driver found for ...
解决办法：下载mysql-connector包，将其放到spark下，并指定jar包，即在spark-env.sh中添加
2.java.sql.SQLException: access denied for user’spider_user ‘@’...’(using password :Yes)
解决办法：mysql的密码输入错误，正确书写mysql密码。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/184758.html