在线课程

大会介绍

贝壳技术沙龙:实践分享  价值共享

 

海量数据下的数据引擎的架构及应用

 

 

4月27日链家网升级为贝壳找房。

 

贝壳技术沙龙是由贝壳找房技术团队主办。每期会邀请各大互联网公司会围绕一个主题就实践经验、技术架构展开深入探讨。3~4位讲师干活分享,Q&A环节,自由讨论,一次高价值分享会,让你不虚此行。

 

 

 

01.本期沙龙介绍

 

本期邀请到瓜子二手车及贝壳找房(原链家网)一线技术专家就各自公司海量数据下的数据引擎架构及应用展开深入的分享。

贝壳找房真房源数据突破一个亿,基于大数据量的存储、查询、多维分析都面临着哪些挑战?又是如何使用这些数据引擎产品?

面临日均查询量20w的瓜子二手车网是如何优化的?在presto引擎的使用中又有哪些经验要与大家分享?

 

 

 

02.活动时间及地点

 

时间:6月30日  14:00—17:05

地点:北京市海淀区上地开拓路11号福道大厦

 

 

 

03.分享预知

 

13:30—14:00签到       

14:00—14:45《贝壳找房复杂场景下大数据计算引擎选型与实践》分享&QA邓钫元贝壳找房

14:45—15:30《OLAP引擎的探索》分享&QA       彭超瓜子二手车

15:30—15:35茶歇       

15:35—16:20《贝壳找房数据产品的架构与实践》分享&QA  彭建贝壳找房

16:20—17:05《Presto Practice At Guazi》分享&QA    李本超    瓜子二手车

 

 

 

04.嘉宾介绍

 

姓名 邓钫元,贝壳找房资深研发工程师,主要负责贝壳大数据基础引擎建设。13年 浙大软件工程毕业,曾就职于百度商业平台部-风控平台研发,现负责贝壳找房大数据集群及基础引擎建设,专注于hadoop生态组件, 热爱开源,为社区贡献多个patch,有丰富的性能调优经验。

 

演讲题目:  复杂场景下大数据计算引擎选型与实践       

 

内容简介:

海量数据背景下,业界普遍引入hadoop/hive等来解决大数据计算分析的需求,但随着大家对计算速度和灵活性的要求提高,业内涌现出各类引擎impala,spark sql,kylin等,贝壳根据自身业务需求,主要针对灵活查询,快速查询,实时查询分别选型spark sql,kylin,druid, 本次主要分享贝壳对这些引擎的实践,优化,及二次开发经验。

 

 

 

 

        

姓名彭超,瓜子二手车大数据架构师,主要负责瓜子大数据平台。

 

演讲题目:OLAP引擎的探索       

 

内容简介:

OLAP领域所需要解决的问题众多,衍生出ROLAP、MOLAP、MPP、Hybrid等四大体系。瓜子结合实际业务需求,对于不同场景先后选择了ROLAP体系的代表Presto/Spark,MOLAP体系的Kylin、Druid,MPP体系的Palo。本次分享讲从瓜子的OLAP需求讲起,详细介绍OLAP工具调研和特点分析。

 

 

 

 

姓名彭建,贝壳找房资深研发工程师,主要负责贝壳大数据BI产品的研发工作。2015年入职链家网,目前负责贝壳大数据BI产品的研发,曾负责链家楼盘字典的整体架构及设计研发。 曾就职于新浪微博,去哪儿网。

 

演讲题目:贝壳数据产品的架构与实践        

 

内容简介:

贝壳的数据BI产品既实现了公司内指标的统一管理,同时又服务于十五万经纪人的作业数据需求,以及驱动公司的运营管理。面对频繁变更的数据需求、复杂的组织结构、漫长的数据链路这些问题,本次分享将着重介绍我们在数据BI系统方面的探索,如何通过自研数据处理层框架来满足灵活的数据需求,并实现快速定位数据问题以及提高研发效率。

 

 

 

姓名 李本超 , 研发工程师,毕业于北京大学。现就职于瓜子二手车,主要负责Presto运维与优化 。

 

演讲题目:Presto Practice At Guazi         

 

内容简介:

Presto在瓜子的使用非常广泛,日查询量在20万左右,为了满足如此高的查询,我们对Presto做了深度定制和优化。此次分享,我们会就Presto的架构、使用场景、特点、高可用方案、监控报警、内存以及其他方面的优化、以及使用过程中遇到的一些实际问题、展望等方面对Presto进行全面的介绍和讨论。

 

 

 

05.关于活动方

 

贝壳产品技术团队致力打造以技术驱动的品质居住服务平台,拥有闫叔、鸟哥、教主等众多资深研发人员,共同打造自身房源信息搜索、产品研发、大数据处理等业务模块。通过大数据、人工智能等互联网技术手段,重构优化服务流程,制定房产经纪服务标准,驱动服务品质及行业效率的提升。将与线下100万经纪人一起,为两亿社区家庭提供安心、有品质的居住服务。

 

 

报名二维码:

 

时间:06-30 14:00 - 17:05
地点:北京市海淀区上地开拓路11号福道大厦

报名购票

主办方