当前位置: 代码迷 >> java >> Hadoop context.write()缓冲区大小
  详细解决方案

Hadoop context.write()缓冲区大小

热度:94   发布时间:2023-07-25 19:34:04.0

我正在使用context.write()与put从Mapper写入HBase。 根据此 , context.write()不会立即刷新,并在缓冲区被异步设置为服务器之前等待缓冲区已满。

如何设置Mapper输出的缓冲区大小。 目的是通过调整缓冲区大小来减少对HBase表的RPC调用。

HBase客户端缓冲区可以通过参数hbase.client.write.buffer进行配置

除了增加客户端缓冲区之外,您还可以此以优化对hbase的写入。

  相关解决方案