一,架构
Plumber是一个分布式数据采集系统，可以将分布在多台机器上的数据汇聚到Kafka，再进一步落地到HDFS中 Plumber采用Master/Slave的架构， 仅提供任务的监控使用，不提供配置数据修改等管理功能。
Plumber Agent作为Slave，分为Source和Sink两部分。Source负责将分布在不同服务器上的数据汇聚到Kafka,Sink负责将Kafka中的数据写入HDFS
Plumber Manager作为master,负责收集各Agent的任务信息,监控Agent状态,并提供告警
Plumber Agent在启动/停止的时候向Manager进行注册/注销来上报自己的任务信息以及状态信息
Plumber Agent在运行过程中，维护采集状态，并作为心跳数据，定期发送到Kafak中。
Plumber Manager接收Agent的注册、心跳数据，并根据这些数据来掌握各Agent的任务分配以及执行情况,最终记录到时间序列数据库(influx)中。
Plumber Manager通过Restfule API来对外提供接口，Plumber可以提供Web UI以及一些管理工具
Plumber Manager允许后续的数据处理模块通过Restful API对数据处理情况进行上报，与采集情况进行对比。
Plumber的设计可以与Flume进行类比。
Plumber实际上就是只有一级传输的Flume
固定使用Kafka Channel作为Channel
可以使用Flume HDFS sink作为Sink
Source可以按需选择
扩展了Flume的Monitor服务，并定义了Plumber的Counter。将Flume组件应用进来时，需要进行改造
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/45673.html