本人在导数据的时候发生了很多问题,比如千百万的数据量的表导了N久都没导完,要么就是导完了有一部分失败,又或者是表明对不上号,字段对不上,然后导出来的sql文件过大导致想打开文件修改一下sql文件的表明数据库名都打不开,很是难受,在别人的推荐下发现了这款工具,真的速度很快(没开车哦)
接下来附上DataX的使用方式:
首先附上官方文档的位置:Github地址
注意环境 需要JDK1.8,mavaen Python 一定要使用2.6的 不要3+的 一定要配置好环境变量
接着配置我们的 json 文件,该 json 文件用来指定我们需要进行导入的数据源,数据写入的地点,以及连接信息等
接下来放上本人在用的配置文件,重要信息做了隐藏处理,大家可以根据自己的场景进行修改即可
解压好下载后的DataX压缩包后,将我们配置好的 json文件 放在bin目录下,接着执行指令


接着稍作等待即可,控制台是有日志的

可以看到260w条数据只用了两分钟!
对了,稍提一嘴,如果控制台乱码了,可以在cmd下面输入如下指定:
之后就能够解决DataX的乱码问题了!
如果有其他问题可以参考这篇文档:DataX常见问题
顺带提一嘴,DataX导入的时候暂时不支持MySQL8+的,所以如果大家的数据库版本过高的话,导数据的时候得自己手动去替换一下DataX的数据库的驱动

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/192627.html