Mapreduce中job的提交流程

来源：厦门达内IT教育培训学校时间：2022/5/16 16:06:13

　　一、MapReduce的定义：

　　MapReduce是面向大数据并行处理的计算模型、框架和平台。

　　它的主要思想是：map(映射)和reduce(归约)

　　1、MapReduce是一个基于集群的高性能并行计算平台

　　2、MapReduce是一个并行计算与运行软件框架

　　3、MapReduce是一个并行程序设计模型与方法

　　二、MapReduce的主要功能：

　　1、数据划分和计算任务调度

　　2、数据/代码互定位

　　3、系统优化

　　4、出错检测和恢复

　　三、计算任务调度中job的提交流程

　　遇到的问题：

　　在学到这的时候，我们会面临一些问题：

　　1、首先面临的问题就是数据是如何分布的?

　　2、一个超大文件按照那种方式切割下来，分别丢到不同的机器上?

　　3、按照某种方式切割下来后，是如何丢到不同机器上去的?

　　4、某个机器分配到什么任务?如何分配的?

　　5、拿到任务后如何解决的?

　　6、带着这些问题，我们就需要学习一下job的提交流程，从该流程中去寻找我们问题的答案。

　　我们用文字概括如下：

　　1、　　客户端提交job到resourcemanager(rm)

　　2、 rm将其放到等待队列，返回jobid和文件路径信息

　　3、　　客户端将所需要计算的资源，上传到hdfs上(包括job信息和分片信息)的存储路径

　　4、　　客户端给rm返回一个资源准备好的信息，job放入等待队列，告诉他可以启动job，等待rm进行调度

　　5、 rm在调度之前，申请一个资源nodemanager(nm)，nm启动container，它接收到任务到hdfs上将资源获取到container，然后跟客户端交互已经得到需要计算的资源，客户端向其发送启动applicationmaster(am)的命令

　　6、 am启动起来后，通过解析分片信息向rm申请运算资源(maptask)

　　7、 rm收到信息查看nm资源情况，通过负载均衡分配所需要的机器，nm每一次心跳都会从job的描述信息查询自己所分配到的任务，接收到任务消息的机器会从hdfs上拿取计算资源，然后跟am交互，am发送启动maptask的命令。

　　8、 Maptask结束后，通知am，然后释放maptask资源，am向rm发出信息，申请reducetask的资源

　　9、 rm分配资源，am启动reducetask

　　10、 reducetask收集maptask完成的数据，启动reduce逻辑。执行完成后，通知am，然后释放reducetask的资源。am通知rm。am释放资源

尊重原创文章，转载请注明出处与链接：http://www.peixun360.com/1718/news/525523/违者必究！ 以上就是厦门达内IT教育培训学校 小编为您整理 Mapreduce中job的提交流程的全部内容。