flume

架构

概念

source

数据的生成源。比如:读取一个本地文件,MQ等等。一个数据单元被封装成一个event

event

数据单元,从source产生,直到被序列化到存储中。event包含headerbody两个部分:

interceptor

source读取一个event在放到channel中之前,event可以被添加数据。比如说:采集机器的主机名称,时间戳。

channel

数据队列,高可用的保障。source产生的数据先放到这里,sink接着从这里取出来放到存储当中。

channel selector

两个作用:

  1. 复制:把一个event写到一个或者多个channel
  2. 路由:根据event中的某个属性值,把数据写到指定的channel

sink

负责把channel中的数据写入目标存储。

sink processor

选择sink,在这里可以完成负载均衡和容错处理。

event serializer

event中的数据,转换成存储需要的格式。

← 增加bug的编程实践 价值博客 →
存档 关于