当前位置: 代码迷 >> 综合 >> Hadoop Mapreduce Counters详解
  详细解决方案

Hadoop Mapreduce Counters详解

热度:97   发布时间:2024-02-04 12:14:33.0

以下文件系统计数器的含义

  • FILE_BYTES_READ

  • FILE_BYTES_WRITTEN

  • FILE_READ_OPS

  • FILE_LARGE_READ_OPS

  • FILE_WRITE_OPS

  • HDFS_BYTES_READ

  • HDFS_BYTES_WRITTEN

  • HDFS_READ_OPS

  • HDFS_LARGE_READ_OPS

  • HDFS_WRITE_OPS

FILE_BYTES_READ

    是本地文件系统读取的字节数。假设所有map输入数据都来自HDFS,那么在map阶段,FILE_BYTES_READ应该为零。另一方面,reduce的输入文件是reduce侧本地磁盘上的数据,这些数据是从map侧磁盘获取的。因此,FILE_BYTES_READ表示减速器读取的总字节数。

FILE_BYTES_WRITTEN

    由两部分组成。第一部分来自映射器。所有映射器都会将中间输出溢出到磁盘上。映射器写入磁盘的所有字节将包含在FILE_BYTES_WRITTEN中。第二部分来自减速器。在改组阶段,所有化简器将从映射器获取中间数据,然后合并并溢出到化简器侧磁盘。减速器写入磁盘的所有字节也将包含在FILE_BYTES_WRITTEN中。

HDFS_BYTES_READ

    表示作业开始时映射器从HDFS读取的字节。该数据不仅包括源文件的内容,还包括有关拆分的元数据。

HDFS_BYTES_WRITTEN

    表示写入HDFS的字节。它是最终输出的字节数。

read operations

    读取操作的数量,例如listStatus,getFileBlockLocations,open等。

write operations

    写操作的数量,例如create,append,setPermission等。

 

  相关解决方案