本文实现是在windows环境下
filebeat和kafka的安装
Windows下Filebeat安装:
下载安装包 :下载地址
解压到指定目录
打开解压后的目录,打开filebeat.yml进行配置。
配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径
filebeat.prospectors: - input_type: log # Paths that should be crawled and fetched. Glob based paths. paths: - D:\\workspace_relay\\filebeat-5.6.0-windows-x86_64\\logs/*.log
讯享网
讯享网output.kafka: # Array of hosts to connect to. enabled: true hosts: ["192.168.87.1:9092"] topic: test
topic是自己在kafka上创建的主题,如果没有的话会自动创建一个名为test的主题。这里的输出将作为kafka的生产者,将日志文件输出到kafka的topic下名为test的文件目录下。
打开刚才解压目录 按住ctrl+shift 并同时鼠标右键打开cmd窗口执行命令
.\filebeat -e -c filebeat.yml 就可以启动filebeat
启动成功加载日志目录下的123.log文件:

讯享网

Windows下kafak的安装:
安装kafak之前要求有jdk以及zookeeper的环境,
1.下载地址:kafka下载
要下载Binary downloads这个类型(二进制类型),不要下载源文件,为了方便使用。下载后,解压放在D:\workspace_relay目录下。目录可以自己定义。
进入kafka配置文件所在目录,D:\workspace_relay\kafka_2.12-2.3.0
编辑文件"server.properties",找到并编辑:
log.dirs=/tmp/kafka-logs to log.dirs=D:\workspace_relay\kafka_2.12-2.3.0\kafka-logs 或者 D:\workspace_relay\kafka_2.12-2.3.0\kafka-logs
路径要么是"/“分割,要么是转义字符”\",这样会生成正确的路径(层级,子目录)。
在server.properties文件中,zookeeper.connect=localhost:2181代表kafka所连接的zookeeper所在的服务器IP以及端口,可根据需要更改。
添加kafka服务端口port=9092
kafka会按照默认配置,在9092端口上运行,并连接zookeeper的默认端口2181。
Kafka的运行
在运行kafka之前,确保已经启动了zookeeper的服务器,
A.进入kafka安装目录D:\workspace_relay\kafka_2.12-2.3.0
B.按下shift+鼠标右键,选择"在此处打开命令窗口",打开命令行。
C.在命令行中输入:.\bin\windows\kafka-server-start.bat .\config\server.properties 回车。
创建主题:
创建主题,命名为"test",replicationfactor=1(因为只有一个kafka服务器在运行)。可根据集群中kafka服务器个数来修改replicationfactor的数量,以便提高系统容错性等。
在D:\workspace_relay\kafka_2.12-2.3.0\bin\windows目录下打开新的命令行
创建生产者与消费者:
在D:\workspace_relay\kafka_2.12-2.3.0\bin\windows目录下打开新的命令行。
输入命令,启动producer:
kafka-console-producer.bat --broker-list localhost:9092 --topic test
该窗口不要关闭。
同样在该目录下打开新的命令行。
输入命令,启动consumer:
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
启动成功
加载的日志属性说明
@timestamp:消息发送时间
beat:Filebeat运行主机和版本信息
input_type:input类型
message:原始日志内容
offset:此条消息在原始日志文件中的offset
source:日志文件
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/76906.html