当前位置: 代码迷 >> 综合 >> 《大数据: Flume 面试题》
  详细解决方案

《大数据: Flume 面试题》

热度:51   发布时间:2024-03-08 00:35:07.0

一、Flume 面试题

1. 你是如何实现Flume数据传输的监控的

使用第三方框架Ganglia实时监控Flume

 

2. Flume的Source,Sink,Channel的作用?你们Source是什么类型

  • Source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy
  • Channel组件对采集到的数据进行缓存,可以存放在Memory或File中
  • Sink组件是用于把数据发送到目的地的组件,目的地包括Hdfs、Logger、avro、thrift、ipc、file、Hbase、solr、自定义
  • 我公司采用的Source类型为:
  • 监控后台日志: