Apache Kafka - 基础 - Gingerdoc 姜知笔记

笔记首页 >> apache_kafka >> Apache Kafka – 基础

Apache Kafka – 基础

在深入 Kafka 之前，您必须了解主题、代理、生产者和消费者等主要术语。下图说明了主要术语，表格详细描述了图表组件。

基本面

在上图中，一个主题被配置为三个分区。分区 1 有两个偏移因子 0 和 1。分区 2 有四个偏移因子 0、1、2 和 3。分区 3 有一个偏移因子 0。副本的 id 与托管它的服务器的 id 相同。

假设，如果主题的复制因子设置为 3，那么 Kafka 将为每个分区创建 3 个相同的副本，并将它们放置在集群中以供其所有操作使用。为了平衡集群中的负载，每个代理存储一个或多个这些分区。多个生产者和消费者可以同时发布和检索消息。

S.No	组件和说明
1	Topics 属于特定类别的消息流称为主题。数据存储在主题中。主题被分成多个分区。对于每个主题，Kafka 保留一个分区的最小值。每个这样的分区都包含不可变的有序序列中的消息。分区被实现为一组相同大小的段文件。
2	Partition 主题可能有很多分区，因此它可以处理任意数量的数据。
3	Partition offset 每个分区消息都有一个唯一的序列 id，称为offset。
4	Replicas of partition 副本只不过是分区的备份。副本永远不会读取或写入数据。它们用于防止数据丢失。
5	Brokers 经纪人是负责维护已发布数据的简单系统。每个代理的每个主题可能有零个或多个分区。假设，如果一个topic有N个partition，有N个broker，那么每个broker就有一个partition。假设如果一个主题中有 N 个分区和 N 个以上的代理 (n + m)，第一个 N 个代理将有一个分区，而下一个 M 个代理将没有该特定主题的任何分区。假设如果一个topic有N个分区并且少于N个broker（nm），每个broker之间会有一个或多个分区共享。由于代理之间的负载分布不均，因此不建议使用此方案。
6	Kafka Cluster 拥有多个broker的Kafka称为Kafka集群。Kafka 集群可以在不停机的情况下进行扩展。这些集群用于管理消息数据的持久化和复制。
7	Producers 生产者是一个或多个 Kafka 主题的消息发布者。生产者将数据发送给 Kafka 经纪人。每次生产者向代理发布消息时，代理只需将该消息附加到最后一个段文件。实际上，消息将附加到分区。生产者还可以将消息发送到他们选择的分区。
8	Consumers 消费者从代理读取数据。消费者订阅一个或多个主题并通过从代理中提取数据来消费已发布的消息。
9	Leader Leader是负责给定分区的所有读取和写入的节点。每个分区都有一个作为领导者的服务器。
10	Follower 遵循领导者指令的节点称为跟随者。如果领导者失败，其中一名追随者将自动成为新的领导者。跟随者充当普通消费者，拉取消息并更新自己的数据存储。