1. 关于小黑鱼


行业: 游戏&零售&直播&电商

项目生命周期:2020.08.23--2022.08.23

工作负载摘要: Database Migration

项目名称:fintech-all

小黑鱼于2017年成立于南京,是一家集移动互联网生活方式、消费新生态、消费升级服务于一体的会员制消费服务平台。 小黑鱼在新加坡、马尼拉、胡志明市、新德里和班加罗尔等城市拥有本地化运营中心和研发团队,业务遍及南亚,东南亚和欧洲市场,拥有电商平台、游戏、在线社交等多条出海互联网产品线,致力于为全球用户提供高质量的互联网产品。

2. 面临的挑战


经过近些年的发展,客户团队遇到了诸多挑战。客户的热门游戏每天产生数十亿个事件,数据量大且分散,难以发现可行性见解。随着业务规模的扩大,由于传统数仓是基于严格的架构来存储数据,不适合处理实时分析或者响应自发式查询,客户原先使用的传统数据仓库已经无法满足业务需求,所以WebEye综合其产品特点帮助其重新选型,以谷歌云平台为基础进行了数据仓库建设的规划。

3. 解决方案

针对客户数据平台的痛点需求,WebEye为客户推荐了BigQuery + Dataflow 的方案,用于从AWS RDS 数据库捕获数据并将其同步到 BigQuery, 该解决方案依赖于 Cloud Dataflow 和 Debezium,以及用于变更数据捕获的优秀开源项目。客户对BigQuery和Dataflow的整体性能和使用成本进行了测试评估,认可了该方案,该方案满足了客户对于数据的分析实际处理需求,并向客户提供了持续、定期的管理、维护和支持,包括机器的可用性和性能监控、成本优化和告警策略等。

数据同步的整体方案使用开源工具 Debezium 来解析RDS 的实时数据,并通过 pub/sub 进行数据的投递传输,最终使用Dataflow 进行ETL处理之后写入BigQuery 的表中,实现 BigQuery 表与业务表的数据同步,让客户可以在 BigQuery中 基于业务数据进行实时的数据分析,将分析结果通过 Tableau 进行报表展示,反馈业务运营部门。

4.结果

  • 为客户提升数仓性能的同时节省了大量的人员及资源使用成本
  • 帮助客户平滑的完成了数仓数据的迁移,AWS迁移到GCP后扩容速度更快,资源扩容更加匹配业务负载曲线,节省20%成本
  • 打破了不同云提供商之间的数据孤岛,帮助客户实现了业务数据向BQ实时同步的需求。

客户享受到了GCP数据仓库无与伦比的性能体验,实现了实时业务数据的分析展示,更加高效的完成业务决策。 

5.产品

#BigQuery

#Compute Engine

#Cloud CDN

#Cloud SQL

#Cloud Dataflow

#Cloud Logging

#Cloud Functions

#Translate

#Cloud Storage

#Cloud Memorystore for Redis

#Cloud Pub/Sub

#Data Catalog

返回全部