delimiterbasedframedecoder源码(ide.codemao源码编辑器)

delimiterbasedframedecoder源码(ide.codemao源码编辑器)首先是 flume 中三个组件的单词的意思 flume 水道 笕槽 引水槽 source 水源 channel 水渠 sink 水槽 见文知意 就是水从源头流出来 经过水渠或者管道 最终流到终点 也就是水槽了 之前总是 flume 的叫着 也不知道是啥意思 今天查了一下 再看其他几个组件的意思 这个工具的功能不言而喻了 就是针对像水一样的数据流处理的 flume channel

大家好,我是讯享网,很高兴认识大家。



上面这个例子中没有声明sink,c3配置成了可选的。向c3发送数据如果失败了会被忽略。c1和c2没有配置成可选的,向c1和c2写数据失败会导致事务失败回滚。

选择器会对每个event的header里面的state属性值进行匹配,如果state=CZ就把event发给c1,如果state=US就把event发给c2和c3,其余的发给默认的c4。


讯享网

自定义选择器就是你可以自己写一个org.apache.flume.ChannelSelector接口的实现类。老规矩,你自己写的实现类以及依赖的jar包在启动时候都必须放入Flume的classpath。

要自定义自己的channel 选择器,比如上面的负载均衡的channel选择器,因为上面系统提供的2个原生的选择器要么全复制,要么选择性的改变数据流向,现在想增加channel数量,缓解压力,数据就需要均衡的发布到声明的n个channel里面去。要自定义,就得了解这个选择器的实现。channel 是在 agent 上暂存 event 的缓冲池。 event由source添加,由sink消费后删除。

小讯
上一篇 2025-05-25 10:29
下一篇 2025-05-16 08:32

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/176052.html