hadoop、yarn和vcpu资源的配置

  • 时间:
  • 浏览:2
  • 来源:uu快3开奖历史_uu快3玩法_注册

可能性CPU资源的独结构,目前这俩CPU分配辦法 仍然是粗粒度的。举个例子,只是任务可能性是IO密集型的,消耗的CPU资源非常少,可能性此时你为它分配两个多多多CPU,则是五种严重浪费,你全版时要让人与某些有几只任务公用两个多多多CPU,也只是说,某些人时要支持更粒度的CPU表达辦法 。

Hadoop 新结构、改进、优化和Bug分析系列5:YARN-3

基于以上考虑,YARN允许用户配置每个节点上可用的物理内存资源,注意,这里是“可用的”,可能性两个多多多节点上的内存会被若干个服务共享,比如一部分给YARN,一部分给HDFS,一部分给HBase等,YARN配置的只是个人时要使用的,配置参数如下:

默认具体情况下,NodeManager不必对CPU资源进行任何隔离,让人通过启用Cgroups让人支持CPU隔离。

(3)yarn.scheduler.maximum-allocation-vcores

【YARN中CPU资源的调度和隔离】

单个任务可申请的最多物理内存量,默认是8192(MB)。

目前的CPU被划分成虚拟CPU(CPU virtual Core),这里的虚拟CPU是YARN个人引入的概念,初衷是,考虑到不同节点的CPU性能可能性不同,每个CPU具有的计算能力也是不一样的,比如某个物理CPU的计算能力可能性是另外两个多多多物理CPU的2倍,这刚刚,让人通过为第两个多多多物理CPU多配置有几只虚拟CPU弥补这俩差异。用户提交作业时,时要指定每个任务时要的虚拟CPU个数。在YARN中,CPU相关配置参数如下:

默认具体情况下,YARN是不必对CPU资源进行调度的,你时要配置相应的资源调度器让人支持,具体可参考我的这两篇文章:

(1)Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

关于Hadoop YARN资源调度器的全版介绍,可参考我的这篇文章:YARN/MRv2 Resource Manager深入剖析—资源调度器。

单个任务可申请的最小虚拟CPU个数,默认是1,可能性两个多多多任务申请的CPU个数少于该数,则该对应的值改为这俩数。

(6)yarn.scheduler.maximum-allocation-mb

在正式介绍具体的资源调度和隔离刚刚,先品味一下内存和CPU这五种资源的特点,这是五种性质不同的资源。内存资源的有几只会会决定任务的生死,可能性内存地处问题,任务可能性会运行失败;相比之下,CPU资源则不同,它只会决定任务运行的快慢,不必对生死产生影响。

【总结】

单个任务可申请的最多虚拟CPU个数,默认是32。

在YARN中,CPU资源的组织辦法 仍在探索中,目前(2.2.0版本)只是两个多多多初步的,非常粗粒度的实现辦法 ,更细粒度的CPU划分辦法 可能性提出来了,正在完善和实现中。

【YARN中内存资源的调度和隔离】

(3) yarn.nodemanager.pmem-check-enabled

单个任务可申请的最少物理内存量,默认是1024(MB),可能性两个多多多任务申请的物理内存量少于该值,则该对应的值改为这俩数。

不是启动两个多多多程序检查每个任务正使用的虚拟内存量,可能性任务超出分配值,则直接将其杀掉,默认是true。

(4) yarn.nodemanager.vmem-check-enabled

(2)yarn.nodemanager.vmem-pmem-ratio

在YARN中,资源管理由ResourceManager和NodeManager一起完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceManager将某个NodeManager上资源分配给任务(这只是所谓的“资源调度”)后,NodeManager需按照要求为任务提供相应的资源,甚至保证哪些地方地方资源应具有独占性,为任务运行提供基础的保证,这只是所谓的资源隔离。

(2) yarn.scheduler.minimum-allocation-vcores

借鉴亚马逊EC2中CPU资源的划分辦法 ,即提出了CPU最小单位为EC2 Compute Unit(ECU),两个多多多ECU代表最少1.0-1.2 GHz 30007 Opteron or 30007 Xeon防止器的防止能力。YARN提出了CPU最小单位YARN Compute Unit(YCU),目前这俩数是两个多多多整数,默认是720,由参数yarn.nodemanager.resource.cpu-ycus-per-core设置,表示两个多多多CPU core具备的计算能力(该feature在2.2.0版本中太少地处,可能性增加到2.3.0版本中),那我,用户提交作业时,直接指定时要的YCU即可,比如指定值为3300,表示用1/两个多多多CPU core,实际表现为,只使用两个多多多CPU core的1/2计算时间。注意,在操作系统层,CPU资源是按照时间片分配的,让人说,两个多多多应用程序使用1/3的CPU时间片,可能性1/5的时间片。对于CPU资源划分和调度的探讨,可参考以下有几只链接:

任务每使用1MB物理内存,最多可使用虚拟内存量,默认是2.1。

表示该节点上YARN可使用的虚拟CPU个数,默认是8,注意,目前推荐将该值设值为与物理CPU核数数目相同。可能性你的节点CPU核数地处问题8个,则时要调减小这俩值,而YARN不必智能的探测节点的物理CPU总数。

表示该节点上YARN可使用的物理内存总量,默认是8192(MB),注意,可能性你的节点内存资源地处问题8GB,则时要调减小这俩值,而YARN不必智能的探测节点的物理内存总量。

https://issues.apache.org/jira/browse/YARN-1024

默认具体情况下,YARN采用了程序监控的辦法 判断任务不是超量使用内存,一旦发现超量,则直接将其杀死。可能性Cgroups对内存的控制地处问题灵活性(即任务任了吗刻非要超过内存上限,可能性超过,则直接将其杀死可能性报OOM),而Java应用程序在创建瞬间内存将翻倍,刚刚骤降到正常值,这俩具体情况下,采用程序监控的辦法 更加灵活(当发现应用程序树内存瞬间翻倍超过设定值时,可认为是正常问题报告 ,不必将任务杀死),刚刚 YARN未提供Cgroups内存隔离机制。

(1)yarn.nodemanager.resource.memory-mb

(1)yarn.nodemanager.resource.cpu-vcores

(2)Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

转载自:https://www.cnblogs.com/S-tec-songjian/p/5740691.html

(5)yarn.scheduler.minimum-allocation-mb

https://issues.apache.org/jira/browse/YARN-1089

目前,YARN 内存资源调度借鉴了Hadoop 1.0中的辦法 ,比较合理,但CPU资源的调度辦法 仍在不断改进中,目前只是两个多多多初步的粗糙实现,相信在不久的将来,YARN 中CPU资源的调度将更加完善。

不是启动两个多多多程序检查每个任务正使用的物理内存量,可能性任务超出分配值,则直接将其杀掉,默认是true。

Hadoop  YARN一起支持内存和CPU五种资源的调度(默认只支持内存,可能性想进一步调度CPU,时要个人进行某些配置),本文将介绍YARN是怎样才能对哪些地方地方资源进行调度和隔离的。