Pulsar 社区周报 | No.2024.03.08 Pulsar-Spark Connector 助力实时计算

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
GitHub 地址：http://github.com/apache/pulsar/

导语

各位热爱 Pulsar 的小伙伴们，Pulsar 社区周报更新啦！
这里将记录 Pulsar 社区每周的重要更新，周五发布。

首先感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

@BewareMyPower,@RobertIndie,@Technoboy-,@coderzc,@crossoverJie,@dao-jun,@dependabot[bot],@dragosvictor,@gaoran10,@hangc0276,@heesung-sn,@horizonzy,@jiangpengcheng,@lhotari,@mattisonchao,@nathanclayton,@poorbarcode,@shibd,@thetumbled,@zymap

Pulsar-Spark Connector 助力实时计算

StreamNative 和 Databricks 联合推出的 Pulsar-Spark Connector 连接器，为实时数据处理领域带来了新的工具。此次合作将 Apache Pulsar 的分布式消息传递与 Apache Spark 的大数据处理能力相结合，促进了数据从采集到分析的无缝衔接。

重要特性

[feat][misc] PIP-264: 使用 OpenTelemetry 记录 topic lookup 指标https://github.com/apache/pulsar/pull/22058 @dragosvictor

[improve][broker] REST API 使用细粒度权限控制访问https://github.com/apache/pulsar/pull/22202 @mattisonchao

[improve][client] 使用 physicalAddress 和 logicalAddress 组合作为连接池的 keyhttps://github.com/apache/pulsar/pull/22196 @heesung-sn

[improve][fn] 为 connector 和 functions 配置包位置目录
https://github.com/apache/pulsar/pull/22184 @lhotari

重要修复

[fix][client] 当 broker 禁用自动创建订阅时跳过重试创建订阅https://github.com/apache/pulsar/pull/22164 @Technoboy-

[fix][client] GenericProtobufNativeSchema 实现 getNativeSchema 方法https://github.com/apache/pulsar/pull/22204 @shibd

[fix][client] 当 seek 成功后 Reader.hasMessageAvailable 能够返回正确的值https://github.com/apache/pulsar/pull/22201 @BewareMyPower

生态进展

[pulsar-client-go] 为 getPartitionedStats 新增可选参数https://github.com/apache/pulsar-client-go/pull/1193 @crossoverJie

[pulsar-client-cpp] 添加 physicalAddress 作为连接池的 keyhttps://github.com/apache/pulsar-client-cpp/pull/411 @heesung-sn

活动新闻

2024年3月 5 日：StreamNative 和 Databricks 联合推出 Pulsar Spark Connector，为实时数据处理提供助力。[1]

2024年3月 6日：StreamNative 宣布开源 Oxia Java 客户端 [2]

2024年5月 14 日：2024 Pulsar 欧洲虚拟峰会 [3]

2024 年 7 月 26-28 日：阿帕奇软件基金会亚洲大会（CommunityOverCode Asia 2024）Messaging 专题[4]

引用链接

[1] StreamNative and Databricks Unite to Power Real-Time Data Processing with Pulsar-Spark Connector:https://www.databricks.com/blog/streamnative-and-databricks-unite-power-real-time-data-processing-pulsar-spark-connector

[2]The Oxia Java Client Library is Now Open Source:https://streamnative.io/blog/the-oxia-java-client-library-is-now-open-source

[3] Pulsar Virtual Summit Europe 2024：https://sessionize.com/pulsar-virtual-summit-europe-2024

[4]CommunityOverCode Asia 2024 议题征集正式启动！：https://mp.weixin.qq.com/s/byAbsKwC7XofWwxGBiylCw