flume现在我们常使用agent.sources.s1.type = TAILDIR的方式,
就是采集文件末尾追加内容,然后发送kafka或者其他信息收集软件,
rsync的一般参数rsync -avz并不是纯文件末尾追加内容的形式,
所以flume在taildir采集的时候,每次rsync,都会导致agent.sources.s1.positionFile = file_position.json 重置,把rsync同步后的文件全部内容,重新采集一遍;
不过rsync 可以使用-auvz --append参数,这种是文件末尾追加,那么flume会正常采集!(前提是rsync同步前的文件本身内容,就是末尾追加的形式,且前面内容不改动)
详细解决方案
flume采集rsync文件
热度:37 发布时间:2023-09-14 14:54:13.0
相关解决方案
- ,否则下礼拜要去失业办报道了。有关问题是关于syslog-ng,rsync,日志文件监控的思路
- vagrant rsync-auto 代码同步失败出错:UndefinedConversionError
- Flume 消息重复情况分析
- flume-hive-sink偶发kryo缺失异常(cdh)
- flume http source windows 中文乱码
- flume hdfs sink报错: java.lang.NoSuchFieldError: IGNORE_CLIENT_LOCALITY
- rsync over ssh over socks
- flume 启动命令 及其常用配置介绍
- flume agent链接采集到hdfs
- flume kafka storm
- Flume sink hive Flume对接Hive(Sink)遇到的坑,以及最终放弃hive选用hdfs。欢迎讨论指点
- Flume HDFS Sink配置详解以及影响hdfs文件关闭的优先级
- Kafka | Flume Sink日志到KafkaHDFS
- Flume 常见配置zo
- flume报错Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty
- Rsync 妙用
- linux inotifywait + rsync 监控文件并同步
- 《大数据: Flume 面试题》