Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 消费者组示例 消费者组是来自 Kafka 主题的多线程或多机消费。 消费群体 消费者可以使用相同的group.id加入一个组。 一个组的最大并行度是该组中消费者的数量←分区数。 Kafka将一个topic的partition分配给一个group中的consumer，这样每个partition只被这个group中的一个consumer消费。 Kafka 保证一条消息只能被组中的一个消费者读取。 ..
Category : apache_kafka
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 基础 在深入 Kafka 之前，您必须了解主题、代理、生产者和消费者等主要术语。下图说明了主要术语，表格详细描述了图表组件。 在上图中，一个主题被配置为三个分区。分区 1 有两个偏移因子 0 和 1。分区 ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 安装步骤 以下是在您的机器上安装 Java 的步骤。 步骤 1 – 验证 Java 安装 ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 与 Spark 集成 在本章中，我们将讨论如何将 Apache Kafka 与 Spark Streaming API ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 与 Storm 集成 在本章中，我们将学习如何将 Kafka 与 Apache Storm 集成。 关于风暴 ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 介绍 在大数据中，使用了大量的数据。关于数据，我们有两个主要挑战。第一个挑战是如何收集大量数据，第二个挑战是分析收集的数据。为了克服这些挑战，您必须需要一个消息传递系统。 Kafka 专为分布式高吞吐量系统而设计。Kafka 往往可以很好地替代更传统的消息代理。与其他消息系统相比，Kafka 具有更好的吞吐量、内置分区、复制和固有的容错能力，非常适合大规模消息处理应用程序。 什么是消息系统？ 消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，而不必担心如何共享数据。分布式消息传递基于可靠消息队列的概念。消息在客户端应用程序和消息传递系统之间异步排队。有两种类型的消息传递模式可用 – 一种是点对点，另一种是发布-订阅 ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 实时应用（推特） 让我们分析一个实时应用程序以获取最新的 twitter 提要及其主题标签。早些时候，我们已经看到 Storm 和 Spark 与 Kafka 的集成。在这两个场景中，我们都创建了一个 Kafka Producer（使用 cli）来向 ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 简单的生产者示例 让我们创建一个使用 Java 客户端发布和使用消息的应用程序。Kafka 生产者客户端由以下 API 组成。 Kafka生产者API 让我们了解本节中最重要的一组 Kafka ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 工具 Kafka 工具打包在“org.apache.kafka.tools.*. 工具分为系统工具和复制工具。 系统工具 可以使用运行类脚本从命令行运行系统工具。语法如下 – bin/kafka-run-class.sh package.class – ..
Apache Kafka 教程 Apache Kafka – 介绍 Apache Kafka – 基础 Apache Kafka – 集群架构 Apache Kafka – 工作流程 Apache Kafka – 安装步骤 Apache Kafka – 基本操作 简单的生产者示例 消费者组示例 与风暴集成 与 Spark 集成 实时应用（推特） Apache Kafka – 工具 Apache Kafka – 应用程序 Apache Kafka – 工作流 到目前为止，我们讨论了 Kafka 的核心概念。现在让我们对 Kafka 的工作流程有所了解。 Kafka 只是一个被分成一个或多个分区的主题集合。Kafka 分区是一个线性排序的消息序列，其中每条消息都由它们的索引（称为偏移量）标识。Kafka 集群中的所有数据都是分区的脱节联合。传入的消息写在分区的末尾，消息由消费者顺序读取。通过将消息复制到不同的代理来提供持久性。 ..