首页 技术 正文
技术 2022年11月23日
0 收藏 477 点赞 2,295 浏览 4708 个字

Hadoop 2.6.0下面的关于Yarn工程,如下所示,主要有以下七个module:

  1. hadoop-yarn-api:和外部平台交互的接口
  2. hadoop-yarn-applications
  3. hadoop-yarn-client
  4. hadoop-yarn-common:yarn client和server可以用到的一些实用工具
  5. hadoop-yarn-registry
  6. hadoop-yarn-server:hadoop-yarn-api的具体实现

          hadoop-yarn-server-application          hadoop-yarn-server-common:resource manager 和node manager 共享的API          hadoop-yarn-server-nodemanager:代替TaskTracker          hadoop-yarn-server-resourcemanager:代替JobTracker          hadoop-yarn-server-tests          hadoop-yarn-web-proxy

  1. hadoop-yarn-site

 Hadoop Yarn源码 – day1

图1 yarn工程中的README文件截图

  


底下有一句话十分重要,Almost all of the yarn components as well as the mapreduce framework usestate-machines for all the data objects.Yarn的大部分组件都是使用状态机来表述的,这个在看董西成老师的Hadoop技术内幕-Yarn的那本书的时候,他将各种状态机描述的都相当清楚,然而还是想对着源码去分析,因为虽然看完,我能看明白,但是真的记不住~囧 通过简单对yarn工程的组织架构分析,我们先来看hadoop-yarn-api部分的代码:Hadoop Yarn源码 – day1

图2 hadoop-yarn-api的代码组织截图


 hadoop-yarn-api下有api,conf,exceptions,factories,factory.providers,server.api,util这几个package组成,先看api这个package它主要定义了以下四种协议(Protocal):

  • ApplicationClientProtocol:主要用于client向RM提交新应用,查询应用信息,节点信息,预留资源,终止应用等
  • ApplicationHistoryProtocol:主要用于获取那些已经运行完的应用信息
  • ApplicationMasterProtocol:主要作用于健在的ApplicationMaster实例和ResourceManager之间,用于AM向RM注册或者取消注册,请求和占有资源
  • ContainerManagerProtocol: 主要作用于AM和NodeManager,用于启动和终止容器,获取运行中的容器状态

 


 ApplicationClientProtocol ( client->RM ) 这个协议定义了以下的方法:Hadoop Yarn源码 – day1图3 ApplicationClientProtocol 里面定义的方法截图 getNewApplication: 客户端提交新应用需要获得一个ApplicationId,这个就是获取id的方法,ResourceManager返回一个新的,单调递增的ApplicationId和一些细节诸如:集群上的最大资源容量等。传入的参数是GetNewApplicationResponse,返回的参数类型是GetNewApplicationRequest这些可以在图3上看到,后面就不再赘述了 submitApplication:客户端提交一个新应用给ResourceManager。客户端通过SubmitApplicationRequest将一些细节的东西,比如:queue,需要在ApplicationMaster上运行的资源,发射ApplicationMaster的相关的ContainerLaunchContext等。ResourceManager在接到submission之后,如果它拒绝这个submission,它就抛出一个异常,否则立刻发送一个empty SubmitApplicationResponse。然而,需要注意的是调用该方法之前,需要调用getApplicationReport来保证应用已经得到了合适的提交。由于RM可能发生故障或者重启,从ResourceManager里获得一个SubmitApplicationResponse并不能保证RM记住了这个应用。如果RM发生了故障或者RM重启发生在RM成功保存应用状态之前,那么后续getApplicationReport将会抛出一个ApplicationNotFoundException.因此,当遇到这种情况时,客户端需要重新提交该应用with同样的ApplicationSubmissionContext。另外,在提交应用的过程中,它会检查应用是否已尽存在,如果应用已经存在,它会简单的返回SubmitApplicationResponse. 在安全模式下,RM会在接收application submission之前,验证用户是否在访问队列中 forceKillApplication:客户端用来请求RM终止这个已经提交的应用。客户端通过KillApplicationRequest提供特定的ApplicationId,告诉RM这个应用需要被终止,在安全模式下需要检查下用户权限。一般,RM拒绝这个请求,就会抛出一个异常,否则返回一个空的response.(安全模式下的情况就不再赘述了) getApplicationReport:客户端从RM获得应用Report的接口,通过在GetApplicationReportRequest中提供ApplicationID,来告知是哪个应用 getClusterMetrics:客户端从RM获取集群的metrics(RM响应的GetClusterMetricsResponse中包含YarnClusterMetrics中比如集群中当前的节点数目) getApplications: 用于客户端从RM中获取匹配的应用(通过过滤器得到对应的application)的report getClusterNodes:客户端从集群中的所有节点的report getQueueInfo:客户端从RM中获取队列信息的接口(包括:已经使用/总共资源大小,child queues,正在运行的应用) getQueueUserAcls: 获取当前用户队列的ACL信息 getDelegationToken: 客户端获取授权token,使得containers 能够获取和要用到这些token的service交互renewDelegationTokencancelDelegationToken moveApplicationAcrossQueues: 将应用移动到另一个队列中 getApplicationAttemptReport: 获取Application Attempt状态的report getApplicationAttempts:获取所有Application Attempt状态的report getContainerReport:获取指定containerId的report getContainers:获取一个Application Attempt的Containers的report submitReservation:客户端给RM预定资源,以备在特殊情况下能从集群中获取到资源运行程序updateReservation:deleteReservation: getNodeToLabels:获取节点对应的Label集合 getClusterNodeLabels:获取集群中所有节点的Label 


 ApplicationHistoryProtocol (client -> ApplicationHistoryServer)定义了如下几种方法: Hadoop Yarn源码 – day1图4 ApplicationHistoryProtocol方法截图东西和上面的差不多,只是ApplicationClientProtocol是和ResourceManager交互,该协议是和ApplicationHistoryServer,不再赘述了  


 ApplicationMasterProtocol(AM->RM) 定义了三种方法: Hadoop Yarn源码 – day1

图5 ApplicationMasterProtocol 方法截图

 allocate:AM传入ResourceRequest列表,返回分配给AllocateRequest未使用的容器。除此之外,还可以将它不想用的资源加入黑名单(ApplicationMaster can also blacklist resources which it does’t want to use)它也发送心跳让ResourceManager知道ApplicationMaster健在。因此,应用需要周期性的调用改方法来证明健在。频率取决于YarnConfiguration的RM_AM_EXPIRY_INTERVAL_MS,这个值默认是DEFAULT_RM_AM_EXPIRY_INTERVAL_MS。  finishApplicationMaster:AM向RM通知它已经完成了(成功或失败)。AM需要提供它最后的状态以及失败情况下的诊断等 registerApplicationMaster:AM向RM注册,AM需要提供一些参数,诸如:RPC 调用的端口,HTTP tracking的url等等。RM返回一些关键的参数诸如集群中的最大资源容量 


 ContainerManagerProtocol协议 (AM-> NM) Hadoop Yarn源码 – day1

图6 ContainerManagerProtocol方法截图

 getContainerStatuses:AM向NM请求当前运行的Container的状态,传入的参数是ContainerID的列表,返回的参数是查询成功的ContainerStatus列表和查询失败的ContainerID和异常的映射 startContainers:AM向NM请求启动Containers,传的是StartContainerRequest的列表。AM需要提供一些参数,比如:分配资源的容量,安全token(如果开启,需要提供),启动容器的命令,处理环境,必要的二进制文件/jar/shared-objects(共享对象?共享内存?)。NodeManager发送一个响应StartContainerResponse包含成功启动的Container列表,一个containerId和异常映射表(对于每一个启动失败的容器,便于指明失败的原因),所有服务的元数据映射(allServicesMetaData map between the names of auxiliary service and their corresponding meta-data)。key是辅助服务的名称,Value是对应的元数据。 stopContainers:AM向NM请求关闭Containers,传的是ContainerId列表(封装在StopContainersRequest里面)。对应的NodeManager返回的是成功关闭的ContainerId列表和停止失败的ContainerID与异常的映射。 

微信扫一扫

支付宝扫一扫

本文网址:https://www.zhankr.net/141771.html

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:875 阅读:5,075
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:806 阅读:3,505
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:565 阅读:4,317
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:730 阅读:4,311
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:4,912
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:3,099
发表评论
暂无评论

还没有评论呢,快来抢沙发~

助力内容变现

将您的收入提升到一个新的水平

点击联系客服

在线时间:8:00-16:00

客服电话

400-888-8888

客服邮箱

ceotheme@ceo.com

扫描二维码

关注微信公众号

扫描二维码

手机访问本站