在使用 pygrok 或 Logstash 的 Grok 时,有时内置的模式(如 %{IP}、%{DATA}、%{NUMBER} 等)无法满足你的日志格式需求。这时你可以通过 自定义 Grok 模式 来匹配特定字段。
Grok 模式本质上是 对正则表达式的封装,你可以将常用的正则表达式定义为命名模式,然后在 Grok 模式中调用这些命名模式。
✅ 示例:自定义 Grok 模式
📌 示例日志:
2025-06-16 19:00:43 [ERROR] User login failed for user=admin from IP=192.168.10.100
我们需要提取以下字段:
- 时间戳(timestamp)
- 日志级别(level)
- 用户名(username)
- IP 地址(ip)
✅ 步骤 1:定义自定义 Grok 模式
我们可以定义一个自定义模式文件,比如 custom_patterns,内容如下:
GPT plus 代充 只需 145USERNAME [a-zA-Z0-9._-]+ IPADDRESS b(?:d{1,3}.){3}d{1,3}b LOGLEVEL (DEBUG|INFO|WARNING|ERROR|CRITICAL)
✅ 步骤 2:在 Python 中使用自定义 Grok 模式
from pygrok import Grok # 自定义 Grok 模式 custom_patterns = { "USERNAME": r"[a-zA-Z0-9._-]+", "IPADDRESS": r"b(?:d{1,3}.){3}d{1,3}b", "LOGLEVEL": r"(DEBUG|INFO|WARNING|ERROR|CRITICAL)" } # 示例日志 log_entry = '2025-06-16 19:00:43 [ERROR] User login failed for user=admin from IP=192.168.10.100' # Grok 模式使用自定义命名 grok_pattern = '%{TIMESTAMP_ISO8601:timestamp} $$%{LOGLEVEL:level}$$ User login failed for user=%{USERNAME:username} from IP=%{IPADDRESS:ip}' # 初始化 Grok 解析器并传入自定义模式 grok = Grok(grok_pattern, custom_patterns=custom_patterns) # 解析日志 match = grok.match(log_entry) # 输出结果 from pprint import pprint pprint(match)
✅ 输出结果:
GPT plus 代充 只需 145{ 'timestamp': '2025-06-16 19:00:43', 'level': 'ERROR', 'username': 'admin', 'ip': '192.168.10.100' }
✅ 自定义 Grok 模式说明
| 自定义模式名 | 正则表达式 | 含义 |
|---|---|---|
%{USERNAME} |
[a-zA-Z0-9._-]+ |
匹配用户名 |
%{IPADDRESS} |
b(?:d{1,3}.){3}d{1,3}b |
匹配 IP 地址 |
%{LOGLEVEL} |
(DEBUG|INFO|WARNING|ERROR|CRITICAL) |
匹配日志级别 |
✅ 与 Logstash 的 Grok 兼容性
Logstash 的 Grok 也是基于同样的思想,只不过它是用文件来加载自定义模式的。例如:
# patterns/custom_patterns USERNAME [a-zA-Z0-9._-]+ IPADDRESS b(?:d{1,3}.){3}d{1,3}b LOGLEVEL (DEBUG|INFO|WARNING|ERROR|CRITICAL)
然后在 Logstash 配置中引用:
GPT plus 代充 只需 145filter { grok { patterns_dir => ["./patterns"] match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} $$%{LOGLEVEL:level}$$ User login failed for user=%{USERNAME:username} from IP=%{IPADDRESS:ip}" } } }
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/241138.html