一：spark运行模式分类
Spark的运行模式可以分为三类：
本地模式（local），适用于演示或测试，通常在Shell命令行中运行。
独立模式（standalone），可以在一个集群中独立运行，利用Spark自身的资源调度方式。
Yarn/Mesos模式，运行在资源管理器上，例如Yarn或Mesos。
其中，Spark on Yarn又分为两种子模式：
Yarn-client模式Yarn-cluster模式
二：Spark各运行模式的应用场景
1、本地模式：
以多线程的方式在本地运行一个应用程序。
本地模式的分类包括：
Local：只启动一个executor。
Local[K]：启动K个executor。
Local[*]：启动与CPU数目相同的executor。
百灵大模型
蚂蚁集团自研的多模态AI大模型系列
177 查看详情
2、独立模式（Standalone）：
是一种独立的运行模式，具备完整的服务，可以独立部署在集群中，无需依赖其他资源管理系统。由master和slaves服务组成，最初master存在单点故障问题，后来通过zookeeper解决。各个节点上的资源被抽象成粗粒度的slot，slot的数量决定了能同时运行的task数量。
3、Spark on Yarn：
在Yarn资源管理器框架上运行，由Yarn负责资源管理，而Spark负责任务调度和计算。
3.1、Spark Yarn-client模式：
适用于交互和调试，客户端可以看到应用程序的输出。
3.2、Spark Yarn-cluster模式：
通常用于生产环境，作业直接在Yarn上执行，客户端无法感知。在线上生产环境中，大多数采用YARN-cluster模式（除非你的大数据框架未使用Hadoop，可以考虑使用Mesos）。
三：Yarn-client与Yarn-cluster的区分
Yarn-client与Yarn-cluster的区分：
广义区分：
Yarn-client：适用于交互和调试，客户端可以看到应用程序的输出。Yarn-cluster：通常用于生产环境。
深层次区分：
Yarn-cluster和Yarn-client模式的区别主要在于Application Master进程的不同。在Yarn-cluster模式下，driver运行在AM（Application Master）中，负责向YARN申请资源，并监督作业的运行状况。用户提交作业后，可以关闭客户端，作业将继续在YARN上运行。在Yarn-client模式下，Application Master仅向YARN请求executor，客户端将与请求的container通信来调度它们的工作。
以上就是Spark专题系列（三）：Spark运行模式的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/458008.html
微信扫一扫 
支付宝扫一扫 
