博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Spark on yarn
阅读量:7009 次
发布时间:2019-06-28

本文共 431 字,大约阅读时间需要 1 分钟。

ResourceManager  资源管理   只有一个(资源以Container表示)

ApplicationMaster  应用管理   用户每提交一个application都包含一个ApplicationMaster

NodeManager 每个节点对应一个

ApplicationMaster 启动后向ResourceManager要资源

每个Executor对应一个Container

每个SparkContext有一个ApplicationMaster

spark支持的两种模式区别 Spark Driver运行在哪儿

yarn-cluster(YarnClusterScheduler) (driverApplicationMaster运行在一起,client看不到运行结果)

yarn-client  (YarnClientClusterScheduler)(driver和client运行在一起,适用于终端返回结果)

本文出自 “” 博客,请务必保留此出处

转载地址:http://xyitl.baihongyu.com/

你可能感兴趣的文章
买《Python从小白到大牛》专题视频课程,送配套纸质图书
查看>>
Windows Server 2012 R2 WSUS-5:组策略配置自动更新
查看>>
配置SCCM 2012 SP1使用证书
查看>>
观Citrix最新官方发布评测报告有感-外行看热闹,内行看门道
查看>>
完整演示:思科IPS旁路模式的部署
查看>>
K8S集群基于heapster的HPA测试
查看>>
linux服务器集群运维经验
查看>>
Powershell-Lync:如何查询用户使用的语音策略
查看>>
《统一沟通-微软-实战》-6-部署-2-中介服务器-6-语音路由-路由
查看>>
关于CocoStudio中AtlasLabel控件后台编码的一点备注
查看>>
搞定Linux Shell文本处理工具,看完这篇集锦就够了
查看>>
Python协程深入理解
查看>>
Cocos2d-x Eclipse下程序运行产生错误Effect initCheck() returned -1
查看>>
[转] 从HTTP状态 301,302,200 来看页面跳转
查看>>
遍历Dictionary<K,V>的两种方式
查看>>
【原】Unity3d 类似Dota血条
查看>>
Spring.NET 1.3.2 集成 NHibernate 3.2 - 5 - 事务管理
查看>>
POJ 2771 Guardian of Decency(二分匹配,最大独立集)
查看>>
控制反转IOC与依赖注入DI
查看>>
sqlserver 数据库订阅报错 22202 14058
查看>>