logo资料库

kafka1.0官方文档最全版.docx

发布时间：2022-06-11 发布人：admin 分类：说明书 资料大小：0.83M 资料格式：docx 举报 版权申诉
第1页 / 共166页
第2页 / 共166页
第3页 / 共166页
第4页 / 共166页
第5页 / 共166页
第6页 / 共166页
第7页 / 共166页
第8页 / 共166页
资料共166页，剩余部分请下载后查看
    Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢?
    Kafka 作为存储系统
    Kafka用做流处理
    批处理
    0.9.0.0中弃用的部分
    安全使用节流复制
    1.
    2.
    3.
    4.
    5.
    1.
    1.
    2.
    1.
    2.
    2.
    1.
    2.
    3.
    3.
    1.
    2.
    6.
    4.
    1.
    2.
    3.
    5.
    1.
    2.
    3.
    4.
    6.
    7.
    org.apache.kafka.connect.transforms.InsertField
    org.apache.kafka.connect.transforms.ReplaceField
    org.apache.kafka.connect.transforms.MaskField
    org.apache.kafka.connect.transforms.ValueToKey
    org.apache.kafka.connect.transforms.HoistField
    org.apache.kafka.connect.transforms.ExtractField
    org.apache.kafka.connect.transforms.SetSchemaMetad
    org.apache.kafka.connect.transforms.TimestampRoute
    org.apache.kafka.connect.transforms.RegexRouter
    org.apache.kafka.connect.transforms.Flatten
    org.apache.kafka.connect.transforms.Cast
    org.apache.kafka.connect.transforms.TimestampConve
    1. 入门 1.1 介绍 Apache Kafka® 是 一个分布式流处理平台. 这到底意味着什么呢? 我们知道流处理平台有以下三种特性: 1. 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类 似。 2. 可以储存流式的记录，并且有较好的容错性。 3. 可以在流式记录产生时就进行处理。 Kafka 适合什么样的场景? 它可以用于两大类别的应用: 1. 构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于 message queue) 2. 构建实时流式应用程序，对这些流数据进行转换或者影响。 (就是流处理， 通过 kafka stream topic 和 topic 之间内部进行变化) 为了理解 Kafka 是如何做到以上所说的功能，从下面开始，我们将深入探索 Kafka 的特性。. 首先是一些概念:  Kafka 作为一个集群，运行在一台或者多台服务器上.  Kafka 通过 topic 对存储的流数据进行分类。  每条记录中包含一个 key，一个 value 和一个 timestamp（时间戳）。 Kafka 有四个核心的 API:  The Producer API 允许一个应用程序发布一串流式的数据到一个或者多个 Kafka topic。  The Consumer API 允许一个应用程序订阅一个或多个 topic ，并且对发布 给他们的流式数据进行处理。  The Streams API 允许一个应用程序作为一个流处理器，消费一个或者多个 topic 产生的输入流，然后生产一个输出流到一个或多个 topic 中去，在输入 输出流中进行有效的转换。
     The Connector API 允许构建并运行可重用的生产者或者消费者，将 Kafka topics 连接到已存在的应用程序或者数据系统。比如，连接到一个关系型数 据库，捕捉表（table）的所有变更内容。
    在 Kafka 中，客户端和服务器使用一个简单、高性能、支持多语言的 TCP 协议.此 协议版本化并且向下兼容老版本， 我们为 Kafka 提供了 Java 客户端，也支持许多 其他语言的客户端。 Topics 和日志 让我们首先深入了解下 Kafka 的核心概念:提供一串流式的记录— topic 。 Topic 就是数据主题，是数据记录发布的地方,可以用来区分业务系统。Kafka 中的 Topics 总是多订阅者模式，一个 topic 可以拥有一个或者多个消费者来订阅它的数 据。 对于每一个 topic， Kafka 集群都会维持一个分区日志，如下所示： 每个分区都是有序且顺序不可变的记录集，并且不断地追加到结构化的 commit log 文件。分区中的每一个记录都会分配一个 id 号来表示顺序，我们称之为 offset，offset 用来唯一的标识分区中每一条记录。 Kafka 集群保留所有发布的记录—无论他们是否已被消费—并通过一个可配置的参 数——保留期限来控制. 举个例子， 如果保留策略设置为 2 天，一条记录发布后两 天内，可以随时被消费，两天过后这条记录会被抛弃并释放磁盘空间。Kafka 的性 能和数据大小无关，所以长时间存储数据没有什么问题.
    事实上，在每一个消费者中唯一保存的元数据是 offset（偏移量）即消费在 log 中的 位置.偏移量由消费者所控制:通常在读取记录后，消费者会以线性的方式增加偏移量， 但是实际上，由于这个位置由消费者控制，所以消费者可以采用任何顺序来消费记 录。例如，一个消费者可以重置到一个旧的偏移量，从而重新处理过去的数据；也 可以跳过最近的记录，从"现在"开始消费。 这些细节说明 Kafka 消费者是非常廉价的—消费者的增加和减少，对集群或者其他 消费者没有多大的影响。比如，你可以使用命令行工具，对一些 topic 内容执行 tail 操作，并不会影响已存在的消费者消费数据。 日志中的 partition（分区）有以下几个用途。第一，当日志大小超过了单台服务器 的限制，允许日志进行扩展。每个单独的分区都必须受限于主机的文件限制，不过 一个主题可能有多个分区，因此可以处理无限量的数据。第二，可以作为并行的单 元集—关于这一点，更多细节如下 分布式 日志的分区 partition （分布）在 Kafka 集群的服务器上。每个服务器在处理数据和 请求时，共享这些分区。每一个分区都会在已配置的服务器上进行备份，确保容错 性. 每个分区都有一台 server 作为 “leader”，零台或者多台 server 作为 follwers 。 leader server 处理一切对 partition （分区）的读写请求，而 follwers 只需被动的 同步 leader 上的数据。当 leader 宕机了，followers 中的一台服务器会自动成为新 的 leader。每台 server 都会成为某些分区的 leader 和某些分区的 follower，因 此集群的负载是平衡的。 生产者 生产者可以将数据发布到所选择的 topic（主题）中。生产者负责将记录分配到 topic 的哪一个 partition（分区）中。可以使用循环的方式来简单地实现负载均衡，也可 以根据某些语义分区函数(例如：记录中的 key)来完成。下面会介绍更多关于分区的 使用。 消费者 消费者使用一个 消费组名称来进行标识，发布到 topic 中的每条记录被分配给订阅 消费组中的一个消费者实例.消费者实例可以分布在多个进程中或者多个机器上。 如果所有的消费者实例在同一消费组中，消息记录会负载平衡到每一个消费者实例. 如果所有的消费者实例在不同的消费组中，每条消息记录会广播到所有的消费者进 程.
    如图，这个 Kafka 集群有两台 server 的，四个分区(p0-p3)和两个消费者组。消费 组 A 有两个消费者，消费组 B 有四个消费者。 通常情况下，每个 topic 都会有一些消费组，一个消费组对应一个"逻辑订阅者"。 一个消费组由许多消费者实例组成，便于扩展和容错。这就是发布和订阅的概念， 只不过订阅者是一组消费者而不是单个的进程。 在 Kafka 中实现消费的方式是将日志中的分区划分到每一个消费者实例上，以便在 任何时间，每个实例都是分区唯一的消费者。维护消费组中的消费关系由 Kafka 协 议动态处理。如果新的实例加入组，他们将从组中其他成员处接管一些 partition 分 区;如果一个实例消失，拥有的分区将被分发到剩余的实例。 Kafka 只保证分区内的记录是有序的，而不保证主题中不同分区的顺序。每个 partition 分区按照 key 值排序足以满足大多数应用程序的需求。但如果你需要总记 录在所有记录的上面，可使用仅有一个分区的主题来实现，这意味着每个消费者组 只有一个消费者进程。 保证 high-level Kafka 给予以下保证:  生产者发送到特定 topic partition 的消息将按照发送的顺序处理。 也就是说， 如果记录 M1 和记录 M2 由相同的生产者发送，并先发送 M1 记录，那么 M1 的偏移比 M2 小，并在日志中较早出现  一个消费者实例按照日志中的顺序查看记录.  对于具有 N 个副本的主题，我们最多容忍 N-1 个服务器故障，从而保证不会 丢失任何提交到日志中的记录. 关于保证的更多细节可以看文档的设计部分。 Kafka 作为消息系统
    Kafka streams 的概念与传统的企业消息系统相比如何？ 传统的消息系统有两个模块: 队列 和 发布-订阅。 在队列中，消费者池从 server 读 取数据，每条记录被池子中的一个消费者消费; 在发布订阅中，记录被广播到所有 的消费者。两者均有优缺点。 队列的优点在于它允许你将处理数据的过程分给多个 消费者实例，使你可以扩展处理过程。 不好的是，队列不是多订阅者模式的—一旦 一个进程读取了数据，数据就会被丢弃。 而发布-订阅系统允许你广播数据到多个 进程，但是无法进行扩展处理，因为每条消息都会发送给所有的订阅者。 消费组在 Kafka 有两层概念。在队列中，消费组允许你将处理过程分发给一系列进 程(消费组中的成员)。 在发布订阅中，Kafka 允许你将消息广播给多个消费组。 Kafka 的优势在于每个 topic 都有以下特性—可以扩展处理并且允许多订阅者模式— 不需要只选择其中一个. Kafka 相比于传统消息队列还具有更严格的顺序保证 传统队列在服务器上保存有序的记录，如果多个消费者消费队列中的数据， 服务器 将按照存储顺序输出记录。 虽然服务器按顺序输出记录，但是记录被异步传递给消 费者， 因此记录可能会无序的到达不同的消费者。这意味着在并行消耗的情况下， 记录的顺序是丢失的。因此消息系统通常使用“唯一消费者”的概念，即只让一个进 程从队列中消费， 但这就意味着不能够并行地处理数据。 Kafka 设计的更好。topic 中的 partition 是一个并行的概念。 Kafka 能够为一个消 费者池提供顺序保证和负载平衡，是通过将 topic 中的 partition 分配给消费者组中 的消费者来实现的， 以便每个分区由消费组中的一个消费者消耗。通过这样，我们 能够确保消费者是该分区的唯一读者，并按顺序消费数据。 众多分区保证了多个消 费者实例间的负载均衡。但请注意，消费者组中的消费者实例个数不能超过分区的 数量。 Kafka 作为存储系统 许多消息队列可以发布消息，除了消费消息之外还可以充当中间数据的存储系统。 那么 Kafka 作为一个优秀的存储系统有什么不同呢? 数据写入 Kafka 后被写到磁盘，并且进行备份以便容错。直到完全备份，Kafka 才 让生产者认为完成写入，即使写入失败 Kafka 也会确保继续写入 Kafka 使用磁盘结构，具有很好的扩展性—50kb 和 50TB 的数据在 server 上表现一 致。 可以存储大量数据，并且可通过客户端控制它读取数据的位置，您可认为 Kafka 是 一种高性能、低延迟、具备日志存储、备份和传播功能的分布式文件系统。 关于 Kafka 提交日志存储和备份设计的更多细节，可以阅读 这页 。
    分享到：
    赞 收藏

    相关推荐

    资料库

    云计算

    共收录203份资料，累计6个分类，关注成员有19位，主要包括：mesos,kubernetes,Openstack,Docker,平台管理,微服务

    热门标签

    mesos kubernetes Openstack Docker 平台管理 微服务

    最新资料