本文共 554 字,大约阅读时间需要 1 分钟。
mapreduce1.0架构原理:
jobtraker 单点故障
只支持mapreducejobtraker性能瓶颈资源利用率不高2.yarn产生的背景
降低运维成本统一资源管理,数据共享两级调度,
resourceManager 做资源统一管理处理客户端请求监控applicationmaster 具体任务执行情况监控nodemanager 节点状态Nodemanager单节点资源管理和使用
资源管理任务管理处理resourceManager的名利处理applicationMaster的命令ApplicationMaster单个任务有一个,负责应用程序的管理
数据切分为应用程序申请资源,进一步分配给内部任务任务的监控与容错Container 对运行环境的抽象
任务运行环境任务资源资源流向resourceManager---------->applicationMaster----------------->task
yarn的资源隔离 cpu和内存两种方式
yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:
hadoop和yarn上的计算框架:
yarn总体架构
mr的原理:
storm原理:
spark原理:
tez原理:
转载地址:http://qabel.baihongyu.com/