数据采集阶段技术对比(flume,kafka,sqoop)

数据采集技术



数据收集架构



Kafka架构图
集群由zookeeper管理


Kafka的特点：


1. 磁盘存储


2. 高吞吐率（每秒几十万条消息）


3. 分布式架构，能对消息进行分析


4. 将数据并行加载到hadoop分区





Flume 架构图
1. agent：就是将数据源的数据发送给collector


2. Collector：将数据源汇总给storage


3. Storage ：存储数据


4. Master管理整个集群






Flume设计目标
可靠性：就是发生故障自动转移，当发生节点故障了，会传到其他节点，日志数据不会丢失


End-to-end：agent数据，当我们的数据传送成功后，就删除。如果传送是失败了，就重新发送


Store on failure：


Best effort





Sqoop 架构图



常见日志收集系统对比



————————————————
版权声明：本文为CSDN博主「菜鸟级的IT之路」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/WYpersist/article/details/79842288