Kafka Producer配置

ゞ浴缸里的玫瑰 2021-06-22 15:36 452阅读 0赞

java生产者配置：

<table> 
 <thead> 
  <tr> 
   <th>NAME</th> 
   <th>DESCRIPTION</th> 
   <th>TYPE</th> 
   <th>DEFAULT</th> 
   <th>VALID VALUES</th> 
   <th>IMPORTANCE</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bootstrap.servers</td> 
   <td>host/port列表，用于初始化建立和Kafka集群的连接。列表格式为host1:port1,host2:port2,....，无需添加所有的集群地址，kafka会根据提供的地址发现其他的地址（你可以多提供几个，以防提供的服务器关闭）</td> 
   <td>list</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>key.serializer</td> 
   <td>key的序列化类（实现序列化接口）</td> 
   <td>class</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>value.serializer</td> 
   <td>value的序列化类（实现序列化接口）</td> 
   <td>class</td> 
   <td>&nbsp;</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>acks</td> 
   <td>生产者需要leader确认请求完成之前接收的应答数。此配置控制了发送消息的耐用性，支持以下配置：<br> acks=0 如果设置为0，那么生产者将不等待任何消息确认。消息将立刻添加到socket缓冲区并考虑发送。在这种情况下不能保障消息被服务器接收到。并且重试机制不会生效（因为客户端不知道故障了没有）。每个消息返回的offset始终设置为-1。<br> acks=1，这意味着leader写入消息到本地日志就立即响应，而不等待所有follower应答。在这种情况下，如果响应消息之后但follower还未复制之前leader立即故障，那么消息将会丢失。<br> acks=all 这意味着leader将等待所有ISR副本同步后应答消息。此配置保障消息不会丢失（只要至少有一个ISR活着）。这是最强壮的可用性保障。等价于acks=-1。</td> 
   <td>string</td> 
   <td>1</td> 
   <td>[all, -1, 0, 1]</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>buffer.memory</td> 
   <td>生产者用来缓存等待发送到服务器的消息的内存总字节数。如果消息发送比可传递到服务器的快，生产者将阻塞<code>max.block.ms</code>之后，抛出异常。<br> 此设置应该大致的对应生产者将要使用的总内存，但不是硬约束，因为生产者所使用的所有内存都用于缓冲。一些额外的内存将用于压缩（如果启动压缩），以及用于保持发送中的请求。</td> 
   <td>long</td> 
   <td>33554432</td> 
   <td>[0,...]</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>compression.type</td> 
   <td>数据压缩的类型。默认为空（就是不压缩）。有效的值有 none，gzip，snappy, 或 lz4。压缩全部的数据批，因此批的效果也将影响压缩的比率（更多的批次意味着更好的压缩）。</td> 
   <td>string</td> 
   <td>none</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>retries</td> 
   <td>设置一个比零大的值，客户端如果发送失败则会重新发送。注意，这个重试功能和客户端在接到错误之后重新发送没什么不同。如果max.in.flight.requests.per.connection没有设置为1，有可能改变消息发送的顺序，因为如果2个批次发送到一个分区中，并第一个失败了并重试，但是第二个成功了，那么第二个批次将超过第一个。</td> 
   <td>int</td> 
   <td>0</td> 
   <td>[0,...,2147483647]</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>ssl.key.password</td> 
   <td>密钥仓库文件中的私钥的密码。</td> 
   <td>password</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>ssl.keystore.location</td> 
   <td>密钥仓库文件的位置。可用于客户端的双向认证。</td> 
   <td>string</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>ssl.keystore.password</td> 
   <td>密钥仓库文件的仓库密码。只有配置了ssl.keystore.location时才需要。</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>password</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>ssl.truststore.location</td> 
   <td>信任仓库的位置</td> 
   <td>string</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>ssl.truststore.password</td> 
   <td>信任仓库文件的密码</td> 
   <td>password</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>high</td> 
  </tr> 
  <tr> 
   <td>batch.size</td> 
   <td>当多个消息要发送到相同分区的时，生产者尝试将消息批量打包在一起，以减少请求交互。这样有助于客户端和服务端的性能提升。该配置的默认批次大小（以字节为单位）：<br> 不会打包大于此配置大小的消息。<br> 发送到broker的请求将包含多个批次，每个分区一个，用于发送数据。<br> 较小的批次大小有可能降低吞吐量（批次大小为0则完全禁用批处理）。一个非常大的批次大小可能更浪费内存。因为我们会预先分配这个资源。</td> 
   <td>int</td> 
   <td>16384</td> 
   <td>[0,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>client.id</td> 
   <td>当发出请求时传递给服务器的id字符串。这样做的目的是允许服务器请求记录记录这个【逻辑应用名】，这样能够追踪请求的源，而不仅仅只是ip/prot。</td> 
   <td>string</td> 
   <td>""</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>connections.max.idle.ms</td> 
   <td>多少毫秒之后关闭闲置的连接。</td> 
   <td>long</td> 
   <td>540000</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>linger.ms</td> 
   <td>生产者组将发送的消息组合成单个批量请求。正常情况下，只有消息到达的速度比发送速度快的情况下才会出现。但是，在某些情况下，即使在适度的负载下，客户端也可能希望减少请求数量。此设置通过添加少量人为延迟来实现。- 也就是说，不是立即发出一个消息，生产者将等待一个给定的延迟，以便和其他的消息可以组合成一个批次。这类似于Nagle在TCP中的算法。此设置给出批量延迟的上限：一旦我们达到分区的batch.size值的记录，将立即发送，不管这个设置如何，但是，如果比这个小，我们将在指定的“linger”时间内等待更多的消息加入。此设置默认为0（即无延迟）。假设，设置 linger.ms=5，将达到减少发送的请求数量的效果，但对于在没有负载情况，将增加5ms的延迟。</td> 
   <td>long</td> 
   <td>0</td> 
   <td>[0,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>max.block.ms</td> 
   <td>该配置控制 KafkaProducer.send() 和 KafkaProducer.partitionsFor() 将阻塞多长时间。此外这些方法被阻止，也可能是因为缓冲区已满或元数据不可用。在用户提供的序列化程序或分区器中的锁定不会计入此超时。</td> 
   <td>long</td> 
   <td>60000</td> 
   <td>[0,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>max.request.size</td> 
   <td>请求的最大大小（以字节为单位）。此设置将限制生产者的单个请求中发送的消息批次数，以避免发送过大的请求。这也是最大消息批量大小的上限。请注意，服务器拥有自己的批量大小，可能与此不同。</td> 
   <td>int</td> 
   <td>1048576</td> 
   <td>[0,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>partitioner.class</td> 
   <td>实现Partitioner接口的的Partitioner类。</td> 
   <td>class</td> 
   <td>org.apache.kafka.clients.producer.internals.DefaultPartitioner</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>receive.buffer.bytes</td> 
   <td>读取数据时使用的TCP接收缓冲区(SO_RCVBUF)的大小。如果值为-1，则将使用OS默认值。</td> 
   <td>int</td> 
   <td>32768</td> 
   <td>[-1,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>request.timeout.ms</td> 
   <td>该配置控制客户端等待请求响应的最长时间。如果在超时之前未收到响应，客户端将在必要时重新发送请求，如果重试耗尽，则该请求将失败。 这应该大于replica.lag.time.max.ms，以减少由于不必要的生产者重试引起的消息重复的可能性。</td> 
   <td>int</td> 
   <td>30000</td> 
   <td>[0,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>sasl.jaas.config</td> 
   <td>JAAS配置文件使用的格式的SASL连接的JAAS登录上下文参数。<a href="https://docs.oracle.com/javase/8/docs/technotes/guides/security/jgss/tutorials/LoginConfigFile.html" rel="nofollow">这里</a>描述JAAS配置文件格式。该值的格式为：'（=）*;'</td> 
   <td>password</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>sasl.kerberos.service.name</td> 
   <td>Kafka运行的Kerberos主体名称。可以在Kafka的JAAS配置或Kafka的配置中定义。</td> 
   <td>string</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>sasl.mechanism</td> 
   <td>SASL机制用于客户端连接。这是安全提供者可用与任何机制。GSSAPI是默认机制。</td> 
   <td>string</td> 
   <td>GSSAPI</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>security.protocol</td> 
   <td>用于与broker通讯的协议。 有效值为：PLAINTEXT，SSL，SASL_PLAINTEXT，SASL_SSL。</td> 
   <td>string</td> 
   <td>PLAINTEXT</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>send.buffer.bytes</td> 
   <td>发送数据时，用于TCP发送缓存（SO_SNDBUF）的大小。如果值为 -1，将默认使用系统的。</td> 
   <td>int</td> 
   <td>131072</td> 
   <td>[-1,...]</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>ssl.enabled.protocols</td> 
   <td>启用SSL连接的协议列表。</td> 
   <td>list</td> 
   <td>TLSv1.2,TLSv1.1,TLSv1</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>ssl.keystore.type</td> 
   <td>密钥存储文件的文件格式。对于客户端是可选的。</td> 
   <td>string</td> 
   <td>JKS</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>ssl.protocol</td> 
   <td>最近的JVM中允许的值是TLS，TLSv1.1和TLSv1.2。 较旧的JVM可能支持SSL，SSLv2和SSLv3，但由于已知的安全漏洞，不建议使用SSL。</td> 
   <td>string</td> 
   <td>TLS</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>ssl.provider</td> 
   <td>用于SSL连接的安全提供程序的名称。默认值是JVM的默认安全提供程序。</td> 
   <td>string</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>ssl.truststore.type</td> 
   <td>信任仓库文件的文件格式。</td> 
   <td>string</td> 
   <td>JKS</td> 
   <td>&nbsp;</td> 
   <td>medium</td> 
  </tr> 
  <tr> 
   <td>enable.idempotence</td> 
   <td>当设置为‘true’，生产者将确保每个消息正好一次复制写入到stream。如果‘false’，由于broker故障，生产者重试。即，可以在流中写入重试的消息。此设置默认是‘false’。请注意，启用幂等式需要将max.in.flight.requests.per.connection设置为1，重试次数不能为零。另外acks必须设置为“全部”。如果这些值保持默认值，我们将覆盖默认值。 如果这些值设置为与幂等生成器不兼容的值，则将抛出一个ConfigException异常。如果这些值设置为与幂等生成器不兼容的值，则将抛出一个ConfigException异常。</td> 
   <td>boolean</td> 
   <td>false</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>interceptor.classes</td> 
   <td>实现ProducerInterceptor接口，你可以在生产者发布到Kafka群集之前拦截（也可变更）生产者收到的消息。默认情况下没有拦截器。</td> 
   <td>list</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>max.in.flight.requests.per.connection</td> 
   <td>阻塞之前，客户端单个连接上发送的未应答请求的最大数量。注意，如果此设置设置大于1且发送失败，则会由于重试（如果启用了重试）会导致消息重新排序的风险。</td> 
   <td>int</td> 
   <td>5</td> 
   <td>[1,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>metadata.max.age.ms</td> 
   <td>在一段时间段之后（以毫秒为单位），强制更新元数据，即使我们没有看到任何分区leader的变化，也会主动去发现新的broker或分区。</td> 
   <td>long</td> 
   <td>300000</td> 
   <td>[0,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>metric.reporters</td> 
   <td>用作metrics reporters（指标记录员）的类的列表。实现MetricReporter接口，将受到新增加的度量标准创建类插入的通知。 JmxReporter始终包含在注册JMX统计信息中。</td> 
   <td>list</td> 
   <td>""</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>metrics.num.samples</td> 
   <td>维护用于计算度量的样例数量。</td> 
   <td>int</td> 
   <td>2</td> 
   <td>[1,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>metrics.recording.level</td> 
   <td>指标的最高记录级别。</td> 
   <td>string</td> 
   <td>INFO</td> 
   <td>[INFO, DEBUG]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>metrics.sample.window.ms</td> 
   <td>度量样例计算上</td> 
   <td>long</td> 
   <td>30000</td> 
   <td>[0,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>reconnect.backoff.max.ms</td> 
   <td>重新连接到重复无法连接的代理程序时等待的最大时间（毫秒）。 如果提供，每个主机的回退将会连续增加，直到达到最大值。 计算后退增加后，增加20％的随机抖动以避免连接风暴。</td> 
   <td>long</td> 
   <td>1000</td> 
   <td>[0,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>reconnect.backoff.ms</td> 
   <td>尝试重新连接到给定主机之前等待的基本时间量。这避免了在循环中高频率的重复连接到主机。这种回退适应于客户端对broker的所有连接尝试。</td> 
   <td>long</td> 
   <td>50</td> 
   <td>[0,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>retry.backoff.ms</td> 
   <td>尝试重试指定topic分区的失败请求之前等待的时间。这样可以避免在某些故障情况下高频次的重复发送请求。</td> 
   <td>long</td> 
   <td>100</td> 
   <td>[0,...]</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>sasl.kerberos.kinit.cmd</td> 
   <td>Kerberos kinit 命令路径。</td> 
   <td>string</td> 
   <td>/usr/bin/kinit</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>sasl.kerberos.min.time.before.relogin</td> 
   <td>Login线程刷新尝试之间的休眠时间。</td> 
   <td>long</td> 
   <td>60000</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>sasl.kerberos.ticket.renew.jitter</td> 
   <td>添加更新时间的随机抖动百分比。</td> 
   <td>double</td> 
   <td>0.05</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>sasl.kerberos.ticket.renew.window.factor</td> 
   <td>登录线程将睡眠，直到从上次刷新ticket到期时间的指定窗口因子为止，此时将尝试续订ticket。</td> 
   <td>double</td> 
   <td>0.8</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>ssl.cipher.suites</td> 
   <td>密码套件列表。这是使用TLS或SSL网络协议来协商用于网络连接的安全设置的认证，加密，MAC和密钥交换算法的命名组合。默认情况下，支持所有可用的密码套件。</td> 
   <td>list</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>ssl.endpoint.identification.algorithm</td> 
   <td>使用服务器证书验证服务器主机名的端点识别算法。</td> 
   <td>string</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>ssl.keymanager.algorithm</td> 
   <td>用于SSL连接的密钥管理因子算法。默认值是为Java虚拟机配置的密钥管理器工厂算法。</td> 
  </tr> 
  <tr> 
   <td>&nbsp;</td> 
   <td>string</td> 
   <td>SunX509</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>ssl.secure.random.implementation</td> 
   <td>用于SSL加密操作的SecureRandom PRNG实现。</td> 
   <td>string</td> 
   <td>null</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>ssl.trustmanager.algorithm</td> 
   <td>用于SSL连接的信任管理因子算法。默认值是JAVA虚拟机配置的信任管理工厂算法。</td> 
   <td>string</td> 
   <td>PKIX</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>transaction.timeout.ms</td> 
   <td>生产者在主动中止正在进行的交易之前，交易协调器等待事务状态更新的最大时间（以ms为单位）。如果此值大于broker中的max.transaction.timeout.ms设置，则请求将失败，并报“InvalidTransactionTimeout”错误。</td> 
   <td>int</td> 
   <td>60000</td> 
   <td>&nbsp;</td> 
   <td>low</td> 
  </tr> 
  <tr> 
   <td>transactional.id</td> 
   <td>用于事务传递的TransactionalId。这样可以跨多个生产者会话的可靠性语义，因为它允许客户端保证在开始任何新事务之前使用相同的TransactionalId的事务已经完成。如果没有提供TransactionalId，则生产者被限制为幂等传递。请注意，如果配置了TransactionalId，则必须启用enable.idempotence。 默认值为空，这意味着无法使用事务。</td> 
   <td>string</td> 
   <td>null</td> 
   <td>non-empty string</td> 
   <td>low</td> 
  </tr> 
 </tbody> 
</table>