Apache Storm – 核心概念

Apache Storm – 核心概念


Apache Storm 从一端读取​​实时数据的原始流,并将其通过一系列小型处理单元,并在另一端输出已处理/有用的信息。

下图描绘了 Apache Storm 的核心概念。

核心理念

现在让我们仔细看看 Apache Storm 的组件 –

Components 描述
Tuple 元组是 Storm 中的主要数据结构。它是一个有序元素的列表。默认情况下,元组支持所有数据类型。通常,它被建模为一组逗号分隔值并传递给 Storm 集群。
Stream 流是一个无序的元组序列。
Spouts 流的来源。通常,Storm 接受来自 Twitter Streaming API、Apache Kafka 队列、Kestrel 队列等原始数据源的输入数据。否则您可以编写 spout 从数据源读取数据。“ISpout”是实现spouts的核心接口,具体的接口有IRichSpout、BaseRichSpout、KafkaSpout等。
Bolts 螺栓是逻辑处理单元。Spouts 将数据传递给 bolts 和 bolts 进程并产生新的输出流。Bolt 可以执行过滤、聚合、加入、与数据源和数据库交互的操作。Bolt 接收数据并发送到一个或多个 Bolt。“IBolt”是实现螺栓的核心接口。一些常见的接口有 IRichBolt、IBasicBolt 等。

让我们以“Twitter 分析”的实时示例为例,看看如何在 Apache Storm 中对其进行建模。下图描述了该结构。

推特分析

“Twitter 分析”的输入来自 Twitter Streaming API。Spout 将使用 Twitter Streaming API 读取用户的推文,并以元组流的形式输出。来自 spout 的单个元组将有一个 twitter 用户名和一个单独的推文作为逗号分隔值。然后,这个元组流将被转发到 Bolt,Bolt 会将推文拆分为单个单词,计算字数,并将信息保存到配置的数据源。现在,我们可以通过查询数据源轻松获得结果。

拓扑

Spouts 和 bolts 连接在一起,它们形成一个拓扑。实时应用逻辑在 Storm 拓扑中指定。简而言之,拓扑是一个有向图,其中顶点是计算,边是数据流。

一个简单的拓扑从 spout 开始。Spout 将数据发送到一个或多个 Bolt。Bolt 表示拓扑中具有最小处理逻辑的节点,并且一个 bolt 的输出可以作为输入发送到另一个 bolt 中。

Storm 保持拓扑始终运行,直到您终止拓扑。Apache Storm 的主要工作是运行拓扑并将在给定时间运行任意数量的拓扑。

任务

现在您对喷口和螺栓有了基本的了解。它们是拓扑的最小逻辑单元,拓扑是使用单个 spout 和一组 bolt 构建的。它们应该以特定顺序正确执行,以便拓扑成功运行。Storm 对每个 spout 和 bolt 的执行称为“任务”。简单来说,一个任务要么是一个 spout 的执行,要么是一个 bolt 的执行。在给定的时间,每个 spout 和 bolt 可以有多个实例在多个单独的线程中运行。

工人

拓扑以分布式方式在多个工作节点上运行。Storm 将任务均匀地分布在所有工作节点上。工作节点的作用是侦听作业并在新作业到达时启动或停止进程。

流分组

数据流从 spouts 流向 bolts 或从一个 bolts 流向另一个 bolts。流分组控制元组在拓扑中的路由方式,并帮助我们了解拓扑中的元组流。有四个内置分组,如下所述。

随机分组

在混洗分组中,相同数量的元组随机分布在所有执行螺栓的工人中。下图描述了该结构。

随机分组

字段分组

元组中具有相同值的字段被分组在一起,其余的元组保持在外面。然后,具有相同字段值的元组被转发给执行螺栓的同一个工人。例如,如果流按字段“word”分组,则具有相同字符串“Hello”的元组将移动到同一个 worker。下图显示了字段分组的工作原理。

字段分组

全球分组

所有的流都可以分组并转发到一个螺栓。此分组将源的所有实例生成的元组发送到单个目标实例(具体而言,选择 ID 最低的工作线程)。

全球分组

所有分组

所有分组将每个元组的单个副本发送到接收螺栓的所有实例。这种分组用于向螺栓发送信号。所有分组对于连接操作都很有用。

所有分组

觉得文章有用?

点个广告表达一下你的爱意吧 !😁