开源大数据：Apache Pulsar

﹏ヽ暗。殇╰゛Y 2022-10-10 09:56 213阅读 0赞

[Apache Pulsar][] 是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台

*  Message consumption(消息消费)：如何发送和消费消息
 *  Message Acknowledgement(消息确认)：如何确认消息
 *  Message Retention(消息保留)：消息要保留多久、出发消息删除的原因以及删除方式

典型的基于排队的消息传递系统包括RabbitMQ和RocketMQ

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VqaW54aWFu_size_16_color_FFFFFF_t_70][]

## 1、历史背景 ##

Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。

Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目

![format_png][]

<table> 
 <thead> 
  <tr> 
   <th>Pulsar</th> 
   <th>Kafka</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Topic</td> 
   <td>Topic</td> 
  </tr> 
  <tr> 
   <td>Partition</td> 
   <td>Partition</td> 
  </tr> 
  <tr> 
   <td>Ledger(Segment)/Fragment</td> 
   <td>Fragment/Segment</td> 
  </tr> 
  <tr> 
   <td>Bookie</td> 
   <td>Broker</td> 
  </tr> 
  <tr> 
   <td>Broker</td> 
   <td>Client SDK</td> 
  </tr> 
  <tr> 
   <td>Ensemble Size</td> 
   <td>metadata.broker.list</td> 
  </tr> 
  <tr> 
   <td>Write Quorum Size (Qw)</td> 
   <td>Replica Number</td> 
  </tr> 
  <tr> 
   <td>Ack Quorum Size (Qa)</td> 
   <td>request.required.acks</td> 
  </tr> 
 </tbody> 
</table>

## 2、Pulsar特性 ##

*          对Pulsar实例中的多个群集的本机支持，跨群集的消息的无缝地理复制。
 *          极低的发布和端到端延迟。
 *          无缝扩展到超过一百万个主题。
 *          一个简单的客户端API，包含Java，Go，Python和C ++的绑定。
 *          主题的多种订阅模式（独占，共享和故障转移）。
 *          Apache BookKeeper提供的持久消息存储保证消息传递。
 *          无服务器轻量级计算框架Pulsar Functions提供流本地数据处理功能。
 *          基于Pulsar函数构建的无服务器连接器框架Pulsar IO可以更轻松地将数据移入和移出Apache  Pulsar。

## 3、参考 ##

[Apache  Pulsar官网：http://pulsar.apache.org/][Apache _Pulsar_http_pulsar.apache.org]

[https://alexstocks.github.io/html/pulsar.html][https_alexstocks.github.io_html_pulsar.html]  
[https://juejin.im/post/5cb3e7b16fb9a068b2297484][https_juejin.im_post_5cb3e7b16fb9a068b2297484]

[Apache Pulsar]: https://pulsar.apache.org/zh-CN/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2VqaW54aWFu_size_16_color_FFFFFF_t_70]: /images/20221005/e9264f0af10b4e84aeb03fd36babde9f.png
[format_png]: /images/20221005/30c89116de7e416fae71d2242e426f8b.png
[Apache _Pulsar_http_pulsar.apache.org]: http://pulsar.apache.org/
[https_alexstocks.github.io_html_pulsar.html]: https://alexstocks.github.io/html/pulsar.html
[https_juejin.im_post_5cb3e7b16fb9a068b2297484]: https://juejin.im/post/5cb3e7b16fb9a068b2297484