kafka中文文档topic配置参数.pdf-资料库

weixin_38669628-11159148-4744302542905839910.pdf-第1页.png

第1页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第2页.png

第2页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第3页.png

第3页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第4页.png

第4页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第5页.png

第5页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第6页.png

第6页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第7页.png

第7页 / 共10页

weixin_38669628-11159148-4744302542905839910.pdf-第8页.png

第8页 / 共10页

名称名称描述类型默认值可⽤用值服务器器默认属性重要性 cleanup.policy compression.type "delete" 或 “compact”的字符串。这个字符串指派了⽤在⽼的⽇志⽚段的保存策略。默认的策略（“delete”）会在它们的保留时间或是⼤⼩超出限制时丢弃⽼的⽚段。设置为”compact”将在主题上启⽤⽇志压缩。为⼀个给定的主题指定最终的压缩类型。这个配置接受标准的压缩编码器('gzip', 'snappy', lz4)。它额外的接受’uncompressed’ ，等于不压缩；还有'producer' 表⽰使⽤⽣产者设置的原始压缩编码器。列表 delete [compac t, delete] log.clean up.polic y 中字符 produ cer [uncomp ressed, snappy, lz4, gzip, producer ] compres sion.type 中

名称描述类型默认值可⽤用值服务器器默认属性重要性为⽇志压缩主题保留删除墓碑标记的时间。这个设置也给出了⼀个消费者必须完成⼀个读取的边界，如果它们开始从偏移0 到确保它可以得到⼀个可⽤的最尾端的快照（否则在它们完成扫描之前删除墓碑会被收集）从⽂件系统删除⼀个⽂件之前的等待时间。长整型 86400000[0,...] 长整型 60000 [0,...] log.clean er.delete. retention .ms 中 log.segm ent.delet e.delay. ms 中 delete.retention.ms ﬁle.delete.delay.ms

名称描述类型默认值可⽤用值服务器器默认属性重要性 ﬂush.messages ﬂush.ms 这个设置允许指定⼀个时间间隔，它将⽤于写⼊到⽇志的数据强制进⾏⽂件同步。例如：如果这个值被设置为1 我们将在每条消息之后进⾏⽂件同步。如果是5我将在每5条消息后进⾏⽂件同步。通常我们推荐你不要设置这个值并使⽤副本实现持久性和允许使⽤操作系统的后台刷新能⼒，因为它更⾼效。此设置可以按每个主题覆盖（参见每个主题配置部分）。这个设置允许指定⼀个时间间隔，它将⽤于写⼊到⽇志的数据强制进⾏⽂件同步。例如：如果这个值被设置成 1000我们将在 1000毫秒之后进⾏⽂件同步。通常我们推荐你不要设置这个值并使⽤副本实现持久性和允许使⽤操作系统的后台刷新能⼒，因为它更⾼效。长整型 92233 72036 85477 5807 [0,...] log.ﬂush .interval. message s 中长整型 92233 72036 85477 5807 [0,...] log.ﬂush .interval. ms 中

名称描述类型默认值可⽤用值服务器器默认属性重要性 follower.replication.throttled.rep licas index.interval.bytes 列表 "" [partitio nId], [brokerI d]: [partitio nId], [brokerI d]:... follower. replicati on.throttl ed.replic as 中列表 4096 [0,...] log.inde x.interva l.bytes 中应该被限制在跟随者端的⽇志副本列表。这个列表应该描述成副本的⼀个集合，格式为 [PartitionId]: [BrokerId], [PartitionId]: [BrokerId]:…或是可选的通配符“*”，可以⽤来限制这个主题的所有副本。这个设置控制了 Kafka添加⼀个索引⼊⼜到它的偏移索引的频率。默认设置是确保我们的索引信息⼤约每4096字节。更多的索引允许在⽇志中读取时跳跃到离期望的位置更近的地⽅，但是这样会让索引更⼤。你很可能不需要更改这个值。

名称描述类型默认值可⽤用值服务器器默认属性重要性 leader.replication.throttled.repli cas max.message.bytes 列表 "" [partitio nId], [brokerI d]: [partitio nId], [brokerI d]:... leader.re plication .throttled .replicas 中整型 1000012[0,...] message. max.byte s 中应该被限制在服务器端的⽇志副本列表。这个列表应该描述成副本的⼀个集合，格式为 [PartitionId]: [BrokerId], [PartitionId]: [BrokerId]:…或是可选的通配符“*”，可以⽤来限制这个主题的所有副本。 Kafka允许的最⼤的记录批次⼤⼩。如果这是增长的并且有⽼于 0.10.2的消费者，消费者获取⼤⼩也必须是增长的以便它们可以这个⼤⼩的记录批次。在最新的消息格式版本中，记录常常分组为批次来实现更⾼效。在先前的消息格式版本中，未压缩的记录没有按批次分组，并且在这种情况下这样的局限仅适⽤于⼀个单⼀的记录。

名称描述类型默认值可⽤用值服务器器默认属性重要性指定了broker将⽤于追加消息到⽇志的消息格式的版本。这个值应该是⼀个有效的 API版本。例如： 0.8.2, 0.9.0.0, 0.10.0,更多详情请查看API版本。通过设置⼀个独特的消息格式版本，⽤户可以证明所有在磁盘上已存在的消息版本都⼩或等于指定版本。如果这个值没有被正确的设置将导致有更⽼版本的消费者崩溃，它们将收到带有⼀个它们不认识的格式的消息。⼀个broker收到⼀个消息时的时间戳与在消息中指定的时间戳之间允许的最⼤差异。如果 message.timestam p.type=CreateTime ，消息会被拒绝，如果时间戳的差异超过了这个阈值。如果 message.timestam p.type=LogAppen dTime这个配置会被忽略。字符 0.11.0 -IV2 log.mess age.form at.versio n 中长整型 92233 72036 85477 5807 [0,...] log.mess age.time stamp.di fference. max.ms 中 message.format.version message.timestamp.difference. max.ms

名称描述类型默认值可⽤用值服务器器默认属性重要性 message.timestamp.type min.cleanable.dirty.ratio min.compaction.lag.ms 定义消息的时间戳是消息的创建时间或是⽇志的追加时间。这个值应该是 `CreateTime` 或 `LogAppendTime` 这个配置控制着⽇志压缩器将要尝试清理⽇志的频率（假设⽇志压缩已启⽤）。默认情况下，我们将避免清理超过50%的已被压缩的⽇志。这个⽐率限制了⽇志中重复的最⼤空间（最多50%个⽇志中的50%个可能是重复的）。更⾼的⽐率意味着更少、更⾼效的清洁，但也意味着在⽇志中有更多的空间浪费。⼀条消息在⽇志⾥保持未压缩的最⼩时间。只对压缩的⽇志有效。字符 Create Time log.mess age.time stamp.ty pe 中双精度型 0.5 [0,...,1] log.clean er.min.cl eanable.r atio 中长整型 0 [0,...] log.clean er.min.c ompacti on.lag.m s 中

名称描述类型默认值可⽤用值服务器器默认属性重要性当⼀个⽣产者设置acks 为 “all”或是 “-1”。这个配置指定了必须被认为是成功的⼀个写⼊的副本的最⼩数量。如果这个最⼩数量不能被满⾜，那么⽣产者将抛出⼀个异常（ NotEnoughRepl icas 或 NotEnoughReplica sAfterAppend）。当 min.insync.replica s 和 acks ⼀起使⽤时，允许你实现更强的耐久性保证。⼀个典型的情况是与3个复制因⼦创建主题，设置 min.insync.replica s 为2,并且⽣产者的acks 为 “all”。这将确保⽣产者抛出⼀个意外，如果⼀个主要的副本没有接收到⼀个写⼊。设为true时我们应当在创建⼀个新的⽇志⽚段时预分配⽂件在磁盘上。整型 1 [1,...] min.insy nc.replic as 中布尔 FALSE log.preal locate 中 min.insync.replicas preallocate

资料库

kafka中文文档topic配置参数.pdf

相关推荐

开发技术

热门标签

最新资料