课程介绍

学习资料

来源：临沂达内IT培训学校时间：2019/9/19 11:49:05

北京大数据培训机构选哪家好一点

　　大数据培训:hadoop中常见问题以及解决方案

　　本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。

　　(1) 默认情况下，各个节点的负载不均衡(任务数目不同)，有的节点很多任务在跑，有的没有任务，怎样让各个节点任务数目尽可能均衡呢?

　　答：默认情况下，资源调度器处于批调度模式下，即一个心跳会尽可能多的分配任务，这样，发送心跳过来的节点将会把任务领光(前提：任务数目远小于集群可以同时运行的任务数量)，为了避免该情况发生，可以按照以下说明配置参数：

　　如果采用的是fair scheduler，可在yarn-site.xml中，将参数yarn.scheduler.fair.max.assign设置为1(默认是-1)如果采用的是capacity scheduler(默认调度器)，则不能配置，目前该调度器不带负载均衡之类的功能。

　　当然，从hadoop集群利用率角度看，该问题不算问题，因为一般情况下，用户任务数目要远远大于集群的并发处理能力的，也就是说，通常情况下，集群时刻处于忙碌状态，没有节点一直空闲着。

　　(2)某个节点上任务数目太多，资源利用率太高，怎么控制一个节点上的任务数目?

　　答：一个节点上运行的任务数目主要由两个因素决定，一个是NodeManager可使用的资源总量，一个是单个任务的资源需求量，比如一个NodeManager上可用资源为8 GB内存，8 cpu，单个任务资源需求量为1 GB内存，1cpu，则该节点多运行8个任务。

　　NodeManager上可用资源是由管理员在配置文件yarn-site.xml中配置的，相关参数如下：

　　yarn.nodemanager.resource.memory-mb：总的可用物理内存量，默认是8096yarn.nodemanager.resource.cpu-vcores：总的可用CPU数目，默认是8对于MapReduce而言，每个作业的任务资源量可通过以下参数设置：

　　mapreduce.map.memory.mb：物理内存量，默认是1024mapreduce.map.cpu.vcores：CPU数目，默认是1默认情况，各个调度器只会对内存资源进行调度，不会考虑CPU资源，你需要在调度器配置文件中进行相关设置。

达内大数据云计算辅导班优势

在线课程+在线辅导—短时间内解决技术问题,修炼技术功力

达内大数据云计算辅导班

入学流程

　　达内大数据云计算课程招生简章

课程主题	课程内容	课程目标
阶段(Java基础)
Java语言的特性	静态导入、自动封箱拆箱、可变参数、增强for、枚举、类加载器、反射、内省、泛型、注解、动态代理回	掌握Java语言的特性
Java多线程	多线程加强、线程池、Thread Local	掌握Java线程池技术，掌握线程的Join、notify、notifyAll等机制
XML	Dom解析、Sax解析、Pull解析　　Schema	基于Xml的解析与维护
Web	Html,Css,Js	掌握简单的Html，Css，Js的编写

实训项目一：易买网项目

　　第二阶段(Web阶段，易买网项目贯穿)

　　JAVAWEB前端技术

　　项目介绍、项目开发流程

　　Html、CSS、JS

　　了解真实项目开发流程

　　掌握前端开发基本技术

　　JAVAWEB基础技术

　　Tomcat、HTTP协议、Servlet、Jsp、EL、JSTL、自定义标签

　　MVC、JAVAWEB三层架构

　　软件分层、耦合、解耦

　　AJAX

　　掌握JAVAWEB基础知识

　　深入理解软件分层思想

　　AJAX实现异步刷新

　　JAVAWEB技术

　　Filter、Listener

　　文件上传、下载

　　在线支付

　　过滤器、监听器及常见应用场景

　　文件上传、下载

　　在线支付功能实现 aa

　　JAVAWEB框架加强

　　面向切面编程

　　通过注解控制事务

　　java基础加强、框架加强

　　JAVA特性

　　熟悉常见设计模式

　　通过模拟实现框架功能，为后续学习SSH打基础

　　实训项目二：国际物流项目

第三阶段(Struts,Hibernate,Spring,SSH项目贯穿)
Struts2	分析Servlet缺点，进行重构　　Struts.xml配置文件　　ValueStack 　　Ognl表达式　　属性驱动、模型驱动、拦截器、文件上传、token机制等	掌握Struts2在项目开发时用到的各种知识点，能够应用　　该框架熟练的开发
Hibernate	ORM的概念、CRUD的完成、Hibernate常用的配置、API详细的分析、对象的三种状态、关联关系、检索、优化、缓存机制	熟练掌握利用Hibernate框架完成项目的开发，深入理解ORMapping的概念，深入理解缓存机制
Spring	IOC、DI、动态代理模式、AOP、基于Spring的数据库编程、 Spring的声明式事务处理，Struts2与Hibernate与Spring的整合	深入理解SpringIOC、DI在软件架构中的作用，深入理解SpringAOP的实现机制和应用场景， Struts2的特性(对象工厂、静态注入、插件机制、 ThreadLocal针对ActionContext的封装、Struts2的核心流程、结果集架构)、深入理解SSH整合的原理
JQuery	JQuery常见选择器的应用	利用JQuery控制Web界面
JS	JS面向对象的特征	对象、原型、闭包、JQuery内部结构解析等
Maven	Maven的概念、使用、原理、　　Module的概念、仓库	能用Maven搭建项目环境　　熟练使用Maven的依赖和继承机制
SSH项目：国际物流	项目背景、系统USE CASE图、系统功能结构图、系统框架图、国际物流核心业务货运管理、购销合同业务、购销合同下货物、出口报运单、装箱单、委托书、发票、财务统计、海量数据导出、出口报运、装箱业务、Shiro安全框架、工作流Activiti5	掌握画USECASE图、系统结构图、系统框架图。　　面试能顺畅讲述国际物流核心业务，包括：购销合同、出口报运、装箱、委托、发票、财务。　　了解大型数据库设计思路，及数据库在设计上如何优化。　　熟练实现合同、货物、附件两级主从结构。　　熟练POI制式表单应用。　　熟练应用Shiro安全框架。　　熟练应用工作流Activiti5实现货运管理流程控制。