2025年大数据开发中Spark架构运行详解及其优势详解?

大数据开发中Spark架构运行详解及其优势详解?一 Spark 基本概念 spark 是一种分布式的计算框架 类似于大数据开发中 Hadoop 生态圈的 MapReduce 计算思想和 MR 非常相似 两者都是分而治之的思想 但使用率要比 MR 高很多 在学习 Spark 运行架构之前 我们有必须要先了解 Spark 中几个基本概念 1 Application 应用程序

大家好,我是讯享网,很高兴认识大家。

一、Spark基本概念

spark是一种分布式的计算框架。类似于大数据开发中Hadoop生态圈的MapReduce,计算思想和MR非常相似,两者都是分而治之的思想,但使用率要比MR高很多。

在学习Spark运行架构之前,我们有必须要先了解Spark中几个基本概念。

1、Application(应用程序):是指我们编写的Spark应用程序,包含驱动程序(Driver)和分布在及群众多个节点上运行的Executor代码,在执行过程中由一个或多个job组成。

2、Driver(驱动程序):Spark中的Driver即运行Application的main方法,并且创建SparkContext,创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责与Cluster Manager通信,进行资源的申请、任务的分配和监控。当Executor部分运行完毕后,Driver负责将SparkContext关闭。通常用SparkContext代表Driver。

3、Cluster Manager(集群资源管理器):是指在集群上获取资源的外部服务,目前常用的有以下几种:

(1)standalone:Spark自带的资源管理,由Master负责资源的管理和调度。

(2)Hadoop YARN:由YARN中的ResourceManager负责资源的管理。

(3)Mesos:由Mesos中的Mesos Master负责资源的管理。

4、Worker(工作节点):集群中任何可以运行Application代码的节点,类似于YARN中的NodeManager节点。在Standalone模式中指的是通过Slave文件配置的Worker节点。

5、Master:Spark Standalone模式下的主节点,负责管理和分配集群资源来运行Spark Application。

6、Executor:Application运行在Worker节点上的一个进程,该进程负责运行Task,并负责将数据存在内存或者磁盘上,每个Application都有各自独立的一批Executor。

二、Spark运行架构

先上一张Spark运行架构原理图吧。

大数据开发中Spark架构运行详解及其优势详解?
讯享网

 

其执行流程:

1、使用spark-sbumit提交我们的应用程序,通过反射的方式,创建和构造出一个Driver进程。

2、Driver进程(可以理解为有main方法的那个类)开始从头到尾执行我们写的代码,第一行即创建SparkConf和SparkContext对象。SparkContext在初始化的时候,会构造出DAGScheduler和TaskScheduler。

3、TaskScheduler通过它自己对应的进程去连接Master,并负责向Master注册Application。

4、Master接收到注册请求时候,会通过自己的资源调度算法,在Spark集群的Worker上,为这个Application启动多个Executor。

5、Worker为Application启动Executor,Executor启动之后,自己会反向注册到TaskScheduler上去。

6、至此整个初始化工作完成,SparkContext继续执行我们的代码。每遇到一个action操作,就会形成一个job,然后将该job提交到DAGScheduler。

7、DAGScheduler根据State划分算法,将一个job划分成多个State,每个State就是一个TaskSet。并将该Taskset提交到TaskScheduler。

8、TaskScheduler会将TaskSet中的每一个Task提交到Executor执行。

9、Executor每接收到一个task,都会用TaskRunner来封装task,然后从线程池中取出一个线程来执行task。

10、所以,最后整个Spark应用程序的执行就是state分批次作为taskset提交到executor执行,每个task针对RDD的一个分区,执行我们定义的算子和函数。以此类推,直到所有操作执行完为止。

三、spark的优势

计算效率高

1、资源复用

2、粗粒度的资源调度

大数据开发中Spark架构运行详解及其优势详解?

使用方便

1、支持使用多门语言来编写

2、提供了超过80多种方法来供我们使用

大数据开发中Spark架构运行详解及其优势详解?

通用性强

1、Spark生态圈中的组件都是基于SparkCore封装起来的

大数据开发中Spark架构运行详解及其优势详解?

适应性强

1、可以接受上百种数据源

2、可以运行在各种各样的资源调度框架上

大数据开发中Spark架构运行详解及其优势详解?

优势四

经过上面简单的总结,相信大家对spark也已经有了一个初步的认识。

首先还是欢迎大家在阅读完之后评论、转发、收藏。想了解更多的大数据知识可以点击“了解更多”查看

小讯
上一篇 2025-04-05 09:50
下一篇 2025-03-14 20:15

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/112393.html