impala 运维中遇到的问题

科技前沿 • 2025-03-02 13:30 • 阅读 43

大家好，我是讯享网，很高兴认识大家。

1、hue 在impala里的查询即使查询完成也不会中止一挂好几小时

在搜索栏输入“hue*.ini”，在配置项中配置如下信息

[impala] query_timeout_s=600

讯享网

配置查询超时时间，单位为s，完成以上配置后根据CM提示重启相应服务即可。在此之前的版本，关闭所有查询的唯一解决方法则是重启Hue或Impala服务。

这个好像6.3.2没用

我在 impala里配置一下

idle_query_timeout

配置10分钟解决

2，impala 时区不正常

impala没有使用当地时间

在Impala 命令行参数高级配置代码段（安全阀）加入

3、impala cdh界面报错

查询监控状态检查

There are 1 error(s) seen monitoring executing queries, and 0 errors(s) seen monitoring completed queries for this role in the previous 5 minute(s)

该告警是在impala服务比较忙的集群上出现， CM会尝试链接impala 25000端口看网页是不是可用的，检查的超时时间默认为5秒，默认报错的次数是一次。检查时间为每5分钟检查一次。超时时间5秒对于比较忙的集群会比较短，所以会报这个问题。

监控状态检查出现上述的告警，它并不代表着该节点impala deamon 的服务不可用，多数情况下是端口繁忙访问超时影响，如果它对你的日常使用造成了困扰，可以通过修改参数进行合理的调整

impala 配置中搜索 impala_query_monitoring_failure_window

意外退出监控周期默认是 5分钟

意外退出阀值默认是任意值都出现严重告警

重新配置后像这样

对于25000 端口超时告警由于被修改过阈值，出现的为一个黄色的警告查询。

4、执行impala报错

File "/opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0./bin/../lib/impala-shell/impala_shell.py", line 262
print "Query options (defaults shown in []):" ^
SyntaxError: invalid syntax

原因是因为语法错误，大多是因为环境变了默认的Python变成了Python3 修改一下impaa-shell 的脚本，将/usr/bin/impala-shell中的python版本改为python2即可

讯享网vi /usr/bin/impala-shell PYTHONPATH="${EGG_PATH}${SHELL_HOME}/gen-py:${SHELL_HOME}/lib:${PYTHONPATH}" \ exec python2 ${SHELL_HOME}/impala_shell.py "$@"

5、scoket path

Impala cannot read or execute the parent directory of dfs.domain.socket.path

1、去HDFS中找到dfs.domain.socket.path配置

2、找到报错的主机,设置scoket path,创建对应的目录即可
在每个节点上创建/var/run/hdfs-sockets/dn
mkdir -p /var/run/hdfs-sockets/dn
　　注意：该文件夹可能已经存在，应当确认用impala是否有权限进行读写
　　如果已经存在，将用户impala加入该文件所属的组，并修改该文件组的权限即：chmod 775 /var/run/hdfs-sockets/dn

3、重启对应的Impala Daemon进程，即可

6、Impala 查询失败，invalid query handle error

以管理员身份登录 Cloudera Manager。
转到群集> Hue 服务>配置> Hue 服务高级配置片段（安全阀） hue_safety_valve.ini。

增加 server_conn_timeout 属性的值 impala部分如下：

[impala] server_host=[*SERVER-HOST*] server_port=[*PORT*] server_conn_timeout=[*TIMEOUT-IN-SECONDS*]