最具影响力的数字化技术在线社区

168大数据

 找回密码
 立即注册

QQ登录

只需一步,快速开始

1 2 3 4 5
开启左侧

FLink - 流式处理框架选型对比

[复制链接]
发表于 2019-3-20 21:42:47 | 显示全部楼层 |阅读模式

马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据

您需要 登录 才可以下载或查看,没有帐号?立即注册

x

转载原文:https://blog.csdn.net/lmalds/article/details/52539590

1、需求决定引擎选型

根据马斯洛需求层次理论,可以将流处理引擎的需求分为以下几种层次:

1、持续性的流处理
2、低延迟的计算结果,亚秒级别的延迟
3、高效可扩展性,每秒百万级的吞吐量
4、容错性,即失败时的可恢复性
5、精确的可重复性
6、可查询性

流处理就是在延迟、吞吐量和正确性之间做一个平衡。

2、当前的流处理引擎包含哪些

1、Spark Streaming
2、Storm
3、Flink
4、samza
。。。。

3、根据Maslow模型,在不同流处理系统之间做个简单的横向对比

1、连续不断的处理

都具有处理“流”的能力。

2、低延迟

Spark Streaming本质是个“micro-batch”,延迟达到秒级。
如果对“延迟性”要求很高,Spark Streaming不适合。

3、高吞吐高扩展

storm在大规模集群下的吞吐量不行?直接看一组来自Yahoo的benchmark:

4、容错和excactly_once

Flink支持excactly_once,通过检查点产生的分布式快照(有状态的operator)+kafka可重发的数据源完成。

5、准确性与可重发

准确性依赖于对Event Time的支持以及kafka的可部分重发的数据源。

6、查询性

将计算结果不断的sink到database或者key/value数据库,虽然这会成为潜在的瓶颈。

4、Flink实时查询服务架构


不断的sink到nosql数据库,提供了一个实时查询的可能性!!!

5、根据需求,确定适合自己的流处理框架

6、参考

Counting in streams: A hierarchy of needs
Stateful Stream Processing at In-Memory Speed
Yahoo Streaming Benchmarks
Apache Flink Presentation


楼主热帖
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

关于我们|小黑屋|Archiver|168大数据 ( 京ICP备14035423号|申请友情链接

GMT+8, 2024-3-29 03:44

Powered by BI168大数据社区

© 2012-2014 168大数据

快速回复 返回顶部 返回列表