博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark系列(三)SparkContext分析
阅读量:4329 次
发布时间:2019-06-06

本文共 456 字,大约阅读时间需要 1 分钟。

SparkContext初始化流程图

其它说明:

  1. 在createTaskScheduler会根据不同的提交模式创建backend对象(如本地模式为LocalBackend)。
  2. 在SparkDeploySchedulerBackend中构造ApplicationDescription对象appDesc,该对象描述了Application最大需要多少CPU core,每个slave上需要多少内存.
  3. 在DAGScheduler和TaskScheduler对象初始化完成后,每执行到一个Action操作就会创建一个job,该job会提交到DAGScheduler,划分为多个stage然后为每个stage创建一个TaskSet。
  4. TaskScheduler把TaskSet中的每一个task提交到executor上执行

image

  1. 关于 DAGScheduler和TaskScheduler的分析在后面章节中说明。

转载于:https://www.cnblogs.com/jianyuan/p/SparkContext.html

你可能感兴趣的文章
JNday4-am
查看>>
UI控件(复习一下)
查看>>
window下自己主动备份数据库成dmp格式的bat写法
查看>>
Memcache存储大数据的问题
查看>>
HDU 5050 Divided Land(进制转换)
查看>>
python进阶学习笔记(三)
查看>>
javascript语法之Date对象与小案例
查看>>
Day45 jquery表格操作、轮播图
查看>>
POJ 2079 Triangle 旋转卡壳求最大三角形
查看>>
【模板】树链剖分
查看>>
计算机博弈研究——六子棋
查看>>
在Visualforce page中用自带的控件实现Ajax回调后台方法(并且可以用js去动态给parameters赋值)...
查看>>
Android驱动开发第七章
查看>>
ISO 9141-2 and ISO 14230-2 INITIALIZATION and DATA TRANSFER
查看>>
特征点检测--基于CNN:TILDE: A Temporally Invariant Learned DEtector
查看>>
CSS3_实现圆角效果box-shadow
查看>>
springboot集成Spring Session
查看>>
java-集合学习-底层实现
查看>>
android学习—— setContentView() 的前世今生
查看>>
CyclicBarrier和CountDownLatch笔记
查看>>