2025年0680-5.16.1-impala-shell导出数据存在中文异常问题

0680-5.16.1-impala-shell导出数据存在中文异常问题Fayson 的 github https github com fayson cdhproject 推荐关注微信公众号 Hadoop 实操 ID gh c4cd0f 1 问题描述 Fayson 在使用 impala shell i hosts d default f test sql o

大家好,我是讯享网,很高兴认识大家。

Fayson的github: https://github.com/fayson/cdhproject

推荐关注微信公众号:“Hadoop实操”,ID:gh_c4cd0f

1 问题描述

Fayson在使用impala-shell -i hosts -d default -f test.sql -o test.txt, 导出结果数据时,发现执行SQL 报错,提示错误信息如下Unknown Exception : ‘ascii’ codec can’t encode characters in position 61-62: ordinal not in range(128),看到这个异常,想必熟悉python的朋友知道这是python中文乱码的问题,Fayson下面会详细描述该问题和解决办法

测试环境
1.Redhat7.4
2.CM/CDH5.16.1

2 问题重现

首先我们使用impala-shell 创建一张表并插入一条数据包含中文字符,然后进行查看

[hadoop2.macro.com:21000] > create table testimpala_shell (s1 string,s2 string); [hadoop2.macro.com:21000] > insert into testimpala_shell values ("hello","你好"); [hadoop2.macro.com:21000] > select * from testimpala_shell; 

讯享网

在这里插入图片描述
讯享网
然后执行下列命令,并查看日志,发现异常如下:

讯享网impala-shell -i hadoop2.macro.com -d default -f test.sql -o test1.log 或者 impala-shell -i hadoop2.macro.com -d default -f test.sql > test.log 2>&1 或者 impala-shell -i hadoop2.macro.com -d default -q “select * from testimpala_shell” -o test1.log 

在这里插入图片描述
同样的语句在没有中文字符的情况下可以正常执行和导出结果数据

在这里插入图片描述

3 问题解决

由于查询在impala-shell 中没有问题,在导出数据的时候才有问题,这是impala-shell的客户端是由python编写的,而Python无法自动将unicode对象写入没有设置默认编码的输出流,所以导致该异常。对于该问题,修改impala-shell默认编码为utf-8即可解决该问题

vim /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py #添加如下代码: import sys reload(sys) sys.setdefaultencoding('utf-8') 

在这里插入图片描述

然后重新执行,发现已经可以正常执行

在这里插入图片描述

该问题经Cloudera确认为C5 版本的BUG,目前已在C6版本中修复

详细参考:https://issues.apache.org/jira/browse/IMPALA-2717

小讯
上一篇 2025-03-26 18:29
下一篇 2025-02-08 21:26

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/132093.html