目录
一、安装收集日志组件 Fluentd
二、kibana 可视化展示查询 k8s 容器日志
三、测试 efk 收集生产环境业务 pod 日志
四、基于 EFK+logstash+kafka 构建高吞吐量的日志平台
4.1 部署 fluentd
4.2 接入 kafka
4.3 配置 logstash
4.4 启动 logstash
我们使用 daemonset 控制器部署 fluentd 组件，这样可以保证集群中的每个节点都可以运行同样 fluentd 的 pod 副本，这样就可以收集 k8s 集群中每个节点的日志。在 k8s 集群中，容器应用程序的输入输出日志会重定向到 node 节点里的 json 文件中，fluentd 可以 tail 和过滤以及把日志转换成指定的格式发送到 elasticsearch 集群中。除了容器日志，fluentd 也可以采集 kubelet、kube-proxy、docker 的日志。
Fluentd 启动成功后，我们可以前往 Kibana 的 Dashboard 页面中，点击 Try our sample data：
点击左侧的
可以看到如下配置页面
在这里可以配置我们需要的 Elasticsearch 索引，前面 Fluentd 配置文件中我们采集的日志使用的是 logstash 格式，这里只需要在文本框中输入 即可匹配到 Elasticsearch 集群中的所有日志数据。点击 Next step：
选择 @timestamp，创建索引
点击左侧的 discover，可看到如下
Kibana 查询语言 KQL 官方地址：Kibana Query Language | Kibana Guide [7.2] | Elastic
登录到 kibana 的控制面板，在 discover 处的搜索栏中输入 kubernetes.pod_name:counter，这将过滤名为 的 Pod 的日志数据 ，如下所示：
通过前面的实验，我们已经在 k8s 集群成功部署了 elasticsearch、fluentd、kibana，这里使用的 efk 系统包括 3 个 Elasticsearch Pod，一个 Kibana Pod 和一组作为 DaemonSet 部署的Fluentd Pod。
fluentd –> kafka –> logstash –> elasticsearch –> kibana
适用于数据量大的场景。此处只提供思路方法，有待验证。
4.1 部署 fluentd
4.2 接入 kafka
4.3 配置 logstash
配置 logstash 消费 messages 日志写入 elasticsearch
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/205382.html