Strom基本概念

Strom基本概念1 简要介绍 Storm Strom 是分布式的实时计算系统 处理速度很快 可以达到毫秒级别 处理数据是一条一条的处理 组成是由一个个 topology 拓扑 组成 一个拓扑可以包含多个 spout 和多个 blot spout 只负责接收数据 将数据转换为 Tuple

大家好,我是讯享网,很高兴认识大家。

1、简要介绍Storm。

Strom是分布式的实时计算系统,处理速度很快,可以达到毫秒级别,处理数据是一条一条的处理。组成是由一个个topology(拓扑)组成,一个拓扑可以包含多个spout和多个blot。

spout只负责接收数据,将数据转换为Tuple(元组)流到blot;

blot可以将spout流过来的数据进行处理,处理后的数据转换Tuple可以继续流向下一个blot或打印到控制台或存入数据库。

2、Strom的四个并发级别

1)Node – 服务器级别

属于Strom集群的一份子,执行topology的部分运算;

2)Worker – 进程级别

属于Node中的一份子,指的是Node中的JVM进程;

3)Executor – 线程级别

属于Worker的一份子,指的是Worker中的一个Java线程;

4)Task – 任务

默认情况下一个Executor有一个Task,是spout和blot的实例。

3、Strom的并发控制

默认的并发:一个topology会被分配到一个Node的Worker中,一个Worker中可能运行多个executor,一个executor负责一个task。

修改并发数(以下number是对应运行的数量):

Worker:通过API或配置文件修改,config.setNameWorker(number);

Executor:builder.setSpout(spout_id,number)或builder.setBlot(blot_id,number);


讯享网

Task:builder.setSpout(…).setNumTask(number);

4、在Blot之间数据流分组方式

ShuffleGrouping(随机分组):随机分发数据流中的tuple到各个Blot;

FiledsGrouping(按字段分组):根据指定的字段进行分组,保证相同的字段分配到同一个Blot;

GlobalGrouping(全局分组):将同一个topology下的且在该Blot之前的所有Blot的数据流Tuple汇总起来,(实际生产环境下少用,避免服务器崩溃);

AllGrouping(全复制分组):所有的Tuple复制后分发到后续Blot的所有的Blot;

DirectGrouping(指向性分组):只能流向指定的Blot;

LocalOrShuffleGrouping(本地或随机分组):优先分发到同一个Worker的下一个Blot,否则,随机分发到Blot。

5、Strom的可靠性保证

(关于可靠性保证可参考本人博客:理解分布式数据处理的三个级别)

1)至多一次:默认情况下,Strom是此级别的可靠性保证。在网络不稳定的情况下,可能造成数据丢失;

2)至少一次:在Strom中,提供了ack-fail机制来实现至少一次,保证数据一定到达,可能会有多条相同的数据。成功结束调用ack()方法,失败调用fail()方法;

3)恰好一次(了解):借助于API – TransactionTopology来实现。

6、Strom的集群介绍

Strom集群遵从主/从结构。由一个主节点(nimbus)和一个或多个(supervisor)组成。借助于ZooKeeper进行协调服务。

1)nimbus:一个守护进程,管理、协调和监控在集群上运行的topology,主要任务包括topology的发布,任务的指派,事件处理失败后重新指派任务。

半容错机制:nimbus守护进程在topology运行时宕机,但分配的supervisor和worker正常运行,topology还会一直处理数据,这就是半容错机制。

2)supervisor:一个守护进程,等待nimbus分配任务后生成并监控worker执行任务。当worker异常退出后,尝试重新生成worker进程。

小讯
上一篇 2025-04-05 23:32
下一篇 2025-03-16 16:20

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/78300.html