当前位置: 代码迷 >> Web前端 >> Hadoop自带Web治理监控功能
  详细解决方案

Hadoop自带Web治理监控功能

热度:38   发布时间:2012-11-20 09:55:43.0
Hadoop自带Web管理监控功能

?? ? ?? H adoop W eb 管理主要分为两块,一块是对文件系统的监控,一块是对任务的监控。

?

文件系统监控:

?

?????? 浏览文件系统;

?????? namenode 的日志列表以及查看日志;

?????? 集群的概况,包括配置容量、 DFS 占用容量、非 DFS 占用容量、 DFS 的可使用容量、 DFS 已使用百分比、 DFS 可使用百分比、活结点数、死节点数、 namenode 的存储目录及类型和状态;

?????? 点击活节点或者死节点数可以看到所有对应节点的类表,以及他们的节点名称, Last Contact 的值( Last Contact 的意思是表明 DataNode 有多少秒时间未向 NameNode 发送心跳包了),管理状态,配置容量,已使用容量,非 DFS 使用容量,剩余容量,已使用百分比,已使用的进度条,剩余百分比,块数。

?

任务监控:

?

?????? 集群摘要信息(堆的大小,所占的比例), Map 任务数, Reduce 任务数,共有意见书,节点数量, Map 任务能力, Reduce 任务能力,平均任务和节点(这点我不明白什么意思,原文: Avg. Task/Node ),列入黑名单的节点;

?????? 调度信息:队列名称,调度信息;

?????? 过滤查询:可根据 Jobid ,优先级,用户名等信息查询任务;

?????? 可以查看正在运行,已经完成或者执行失败的 Job 的信息:状态,完成所需时间,该 Job map reduce 信息:完成进度,总任务数,待完成任务数,正在执行的,已完成的,死掉的,失败的和死掉的个数比(按照我的理解应该是失败后并再次尝试并成功的与死掉的个数比);

?????? 还有各种数据的统计包括 Job FileSystem Map-Reduce Framework ,统计具体小点太多,并且有一些统计功能我不是很了解,比较模糊,还是上图,如下:


  相关解决方案