首页 技术 正文
技术 2022年11月18日
0 收藏 695 点赞 5,005 浏览 954 个字

flume优点

1.存储数据到任何中央数据库

2.进入数据速率大于写出速率,可以起到缓存作用,保证流的平稳

3.提供文本式路由

4.支持事务

5.可靠、容错、可伸缩、可定制、可管理

put的缺点

1.put命令一次只能put一个文件,不能满足文件告诉被生成的场景,需要实时传输数据

2.put命令操作文件时是固定的,不能是持续累加的

3.需要传递流动数据到hdfs,延迟很低

flume架构:水槽

1.  flume event

  header + payload(byte array)

2.  flume agent

  是独立的守护进程,从client(source)接收数据,转发给sink或者agent

3.  flume三个组件

[source]

  从数据生成器几首数据,以flume event形式传递给一个或多个channel

[channel]

  临时存放source传递过来的event数据,缓存到sink消费为止,是source和sink之间的桥梁

[sink]

存储数据到hdfs/hbase,从channel提取数据(event),分发到目的地,sink的目的地可以是另个agent,也可以是中央存储

  注意:一个agent可以有多个source,sink和channel

[interceptor]

拦截器,在source和channel监控数据

[channel选择器]

  在多通道情况下,采用哪个通道来传递数据,有两种类型通道选择器

  Default channel selectors:

    通道中复制每个事件

  Multiplexing channel selectors:

    通过判断event的heard信息,决定通道来发送数据

[sink processor]

  沉槽处理器,从sink组中选择一个特定的sink进行调用,可以为sink创建容灾路径或者在多个sink之间实现负载军坑

[collector]

  在agent后方运行

[multi-hop]

  多级跳转,从sink到agent

[fan-out]

   从一个source到多个channel

[fan-in]

  从多个source到一个channel

错误处理

  涉及两个事务,sender端和receiver端

  sender端只有在接收到receiver的提交信号才提交事务

相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:9,088
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,565
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,413
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,186
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,822
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,905