登录
首页精彩阅读Flink、Spark Streaming、Kafka的简单介绍!
Flink、Spark Streaming、Kafka的简单介绍!
2020-05-13
收藏

Spark Streaming、FlinkKafka三者都是真正的实时处理,它们分别是什么呢?我们今天来了解下。


什么是Spark Streaming?


spark streaming是真正的实时处理,是微批处理。

什么是Flink

flink也是真正的实时处理,基于事件触发的机制进行处理,它不像spark Streaming每隔若干时间段,就会生成微批数据,然后进行处理。




什么是kafka?

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。


Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

数据分析咨询请扫描二维码

客服在线
立即咨询