Pulsar来了 | Apache Pulsar Meetup · 上海站 即将开始

12-15 13:30 - 18:00

ApachePulsar

Apache Pulsar
免费
收藏 1925 人浏览 扫一扫
分享
直播介绍

大咖介绍

ApachePulsar

Apache Pulsar
Apache Pulsar是下一代的分布式消息流系统和函数式计算平台。Yahoo在2016年底开源了Pulsar,并于2017年六月将其捐献给Apache软件基金会进行孵化。 如果您还没了解过Pulsar,微信公众号里的这些文章会方便您对Pulsar有一个简单的认识: 【简介Apache Pulsar-下一代分布式消息系统】 【Apache Pulsar -- 实时处理中消息,计算,存储的统一】 【理解Apache Pulsar工作原理】 【统一的消息消费模型】 【以Segment为中心的架构】

主题介绍

背景

今年十月,我们在北京举办了国内首场Apache Pulsar Meetup,为社区小伙伴讲解了Apache Pulsar的技术细节,以及Pulsar在生产线上的生产实践,现场反响热烈。为了响应上海小伙伴的号召,以及让更多开发者接触和了解Pulsar,Streamlio再次联合智联招聘、示说网,把Apache Pulsar Meetup带到上海。

这次的Meetup,除了整体介绍Apache Pulsar之外,智联招聘的小伙伴们还带来了他们全新的生产经验,以及 Pulsar+Flink在智联搜索推荐中的应用,同时Streamlio的小伙伴将会详细讲述怎么使用Pulsar打造实时数据Pipeline,为大家解构Pulsar强大的生态组件 - Functions/IO, Schema 以及最新发布的Pulsar SQL。

希望这半天,能满足你对Apache Pulsar的所有好奇。期待上海的小伙伴们过来撩。



线下

时间:2018-12-15 13:30-17:30

地点:徐汇区田林路200号C2座1楼 (COCOSPACE咖啡)

报名链接:http://www.huodongxing.com/event/7468359300600



活动议程


13:00 - 13:30

签到


13:30 - 14:30    

Cloud-Native Messaging & Streaming with Apache Pulsar

翟佳 | Streamlio创始团队成员,Apache Pulsar/BookKeeper PMC成员


14:30 - 15:10    

Apache Pulsar在智联搜索推荐中的应用

李世明 | 智联招聘平台架构组工程师


15:10 - 15:30 茶歇&交流

   

15:30 - 16:20

Database Streaming with Apache Pulsar  -- Connector, Schema and SQL

郭斯杰 | Streamlio联合创始人,Apache Pulsar/BookKeeper PMC成员


16:20 - 17:00

Apache Pulsar实践经验以及社区参与总结

李鹏辉 | 智联招聘平台架构组工程师,Pulsar Contributor


17:00 - 17:30

自由交流



演讲详情


Cloud-Native Messaging & Streaming with Apache Pulsar

翟佳 | Streamlio创始团队成员,Apache Pulsar/BookKeeper PMC成员

概要

Apache Pulsar 是下一代分布式消息和流数据平台。 它于 2016 年由雅虎开源,并于 2018 年成为 Apache 顶级项目。Apache Pulsar 目前已被广泛采用在各大互联网关键业务,比如在线业务服务,流计算,实时交互式分析等。

本次分享将全面介绍 Apache Pulsar,包括Yahoo为什么要创建Pulsar,Pulsar跟其他系统的不同之处,它如何使用云原生技术解决使用和运维过程中碰到的各种痛点,以及Pulsar在2.0之后加入的大量流相关特性,和目前社区的状况以及相应的应用场景。



Apache Pulsar在智联搜索推荐中的应用

李世明 | 智联招聘平台架构组工程师

概要

智联简历职位搜索的数据有上亿条,需要支持所有职位、简历的数据变更实时同步到和搜索和推荐服务。所以需要寻找一个强大的消息系统,来支撑每天大量的职位、简历的更新、刷新,和一些商业事件。

通过Apache Pulsar的租户模式可以方面管理每个业务端的对接。Pulsar的高可用、一致性、签收机制以及其他特性非常便捷的满足了搜索推荐服务的要求。

本次Talk主要分享Pulsar在智联的搜索推荐的应用。



Database Streaming with Apache Pulsar -- Connector, Schema and SQL

郭斯杰 | Streamlio联合创始人, Apache Pulsar/BookKeeper PMC成员

概要

批量模式的ETL Pipelines是将数据从OTLP数据库导入到OLAP数据库的常用方案。但是这种方式并不适合对于实时数据分析有强烈需求的用户场景。因此,针对于有实时数据分析需求的用户场景,越来越多的企业开始使用CDC(Change Data Capature)和消息中间件打造流式的数据Pipeline。

本次演讲将以Apache Pulsar为例,分享一下如何基于Pulsar打造流式的数据Pipeline。这其中将介绍Pulsar的三个生态组件:IO Connectors,Schema,以及Pulsar SQL;以及如何将这三个组件串联在一起:

- 使用Pulsar的CDC Connector将数据库的Changes抓取到Pulsar中;

- 使用Pulsar内嵌的Schema来管理这些CDC数据的Schema;

- 使用Pulsar SQL进行交互式的实时查询。


Apache Pulsar实践经验以及社区参与总结

李鹏辉 | 智联招聘平台架构组工程师,Pulsar Contributor

概要

经过Apache Pulsar在智联投入生产环境的4个多月,从最初每天3000万的消息量到10亿+消息量。智联总结了一些线上实践经验以及一些最佳实践方案。合理的在不同的场景使用Pulsar以及各个场景需要注意的方方面面。

结合智联的需求我们也在不断的为社区做贡献,积极参与社区讨论。智联也为社区贡献了一些重要的特性比如Client Interceptors,Dead Letter Topic等。

本次Talk主要分享Pulsar在智联的实践以经验以及如何参与社区。



交通

地点:徐汇区田林路200号C2座1楼 (COCOSPACE咖啡)

临近地铁站: 9号线 漕河泾开发区站;12号线虹漕路站。

640?wx_fmt=png


合作单位

shanghai-logs.jpg

线下报名

http://www.huodongxing.com/event/7468359300600

huodongxing.png




FYI

如果您还没了解过Pulsar,这些文章会方便您对Pulsar有一个简单的认识:


Pulsar公众号中有更多关于Pulsar的知识,欢迎关注:

Pulsar公众号.jpg