导航
当前位置: 火车吧 > 资讯频道 > 数码 > flink和spark对比

flink和spark对比

来源: 火车吧 时间:2022-10-11 14:19:28

1、技术理念不同:Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。而Flink是基于事件驱动,它是一个面向流的处理框架, Flink基于每个事件一行一行地流式处理,是真正的流式计算。 另外他也可以基于流来模拟批进行计算实现批处理,在技术上具有更好的扩展性。

2、时间机制:SparkStreaming只支持处理时间, 折中地使用processing time来近似地实现event time相关的业务。使用processing time模拟event time必然会产生一些误差, 特别是在产生数据堆积的时候,误差则更明显,甚至导致计算结果不可用,Structured streaming 支持处理时间和事件时间,同时支持 watermark 机制处理滞后数据Flink 支持三种时间机制:事件时间、注入时间、处理时间、同时支持 watermark 机制处理迟到的数据,说明Flink在处理乱序大实时数据的时候,优势比较大。


免责声明:火车吧文章信息来源于网络以及网友投稿,本站只负责对文章进行整理、排版、编辑,是出于传递更多信息之目的,并不意味着赞同其观点或证实其内容的真实性。

相关阅读

更多

手机版 关于火车吧 源码下载 友情链接 在线订票 隐私原则 意见反馈 联系我们 网站地图 “扫黄打非”举报专区 违法和不良信息举报中心

如有意见、反馈、侵权或投诉等情况,请联系QQ:151219695 联系邮箱:151219695@qq.com 我们将会在48小时内给与处理! | 版权所有 Copyright © 2009-2026 huocheba.com

火车网404

很抱歉,您要的页面脱轨了!

返回上一页