Flink的window

streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,但是在特殊情况下,我们需要把一些数据进行阶段是分割,而window就是一种切割无限数据为有限数据块的一种方案

Flink的window有四种

滚动窗口Tumbling windows

根据固定窗口长度,对数据进行划分,时间对齐,窗口长度固定,没有重叠

滑动窗口Sliding windows

设定一个窗口大小和滑动间隔,如图所示会有重叠,场景例子:每5分钟统计一次近1小时内的访问数量

会话窗口Session windows

由一系列事件组合成特定时间长度的timeout间隙组成,如果没有数据来就会有新的窗口,时间不对齐,窗口大小不固定,如下图所示:

全局窗口Global windows

这种一般很少使用,也不会到生产使用,所有数据都放在一个窗口,这是违背无限数据集的,所以一般用于测试和观察数据情况用

Leave a Reply

Your email address will not be published. Required fields are marked *