当前位置: 代码迷 >> 综合 >> 大数据技术之Flume第2章 角色介绍
  详细解决方案

大数据技术之Flume第2章 角色介绍

热度:34   发布时间:2024-01-22 01:16:27.0

2.1 Source

source组件是专门用来收集数据的,可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy

2.2 Channel

source组件把数据收集来以后,临时存放在channel中,即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存,可以存放在memory、jdbc、file等等。 

2.3 Sink

sink组件是用于把数据发送到目的地的组件,目的地包括hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定义。

2.4 Event

传输单元,Flume数据传输的基本单元,以事件的形式将数据从源头送至目的地。

 

 

本教程由尚硅谷教育大数据研究院出品,如需转载请注明来源。