博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
开始写博客啦啦
阅读量:7116 次
发布时间:2019-06-28

本文共 554 字,大约阅读时间需要 1 分钟。

mapreduce1.0架构原理:

jobtraker 单点故障

只支持mapreduce
jobtraker性能瓶颈
资源利用率不高

2.yarn产生的背景

降低运维成本
统一资源管理,数据共享

两级调度,

resourceManager 做资源统一管理
处理客户端请求
监控applicationmaster 具体任务执行情况
监控nodemanager 节点状态

Nodemanager单节点资源管理和使用

资源管理任务管理
处理resourceManager的名利
处理applicationMaster的命令

ApplicationMaster单个任务有一个,负责应用程序的管理

数据切分
为应用程序申请资源,进一步分配给内部任务
任务的监控与容错

Container 对运行环境的抽象

任务运行环境
任务资源

  1. yarn的容错机制

资源流向resourceManager---------->applicationMaster----------------->task

yarn的资源隔离 cpu和内存两种方式

yarn的调度语义(接口),程序可以自己申请资源,自己上交资源:

hadoop和yarn上的计算框架:

yarn总体架构

mr的原理:

storm原理:

spark原理:

tez原理:

转载地址:http://qabel.baihongyu.com/

你可能感兴趣的文章
2015年7月19日21:12:13 学习手册
查看>>
升级Android SDK后ADT找不到adb.exe文件的解决办法(转)
查看>>
C# & OR &&
查看>>
NAT和桥接的区别
查看>>
查看进程
查看>>
织梦的autoindex和intemindex的区别
查看>>
标准W3C盒子模型和IE盒子模型CSS布局经典盒子模型
查看>>
开源USM-AlienVault OSSIM
查看>>
Linux系统单用户模式
查看>>
android 中MVC与MVP,MVVM模式使用介绍
查看>>
lol skl
查看>>
postgreSQL 9.1 的安装、基本配置、简单使用
查看>>
JavaScript日期时间对象的创建与使用(三)
查看>>
PHP编程效率的20个要点
查看>>
HTC A510C屏幕失灵补丁
查看>>
mysql主从数据不一致问题解决
查看>>
go 入门学习笔记之 条件判断 if switch (七)
查看>>
Linux下清空用户登录记录和命令历史的方法
查看>>
python 函数
查看>>
Visual Sudio 复制窗体文件
查看>>