行业: 游戏&零售&直播&电商
项目生命周期:2020.08.23--2022.08.23
工作负载摘要: Database Migration
项目名称:fintech-all
小黑鱼于2017年成立于南京,是一家集移动互联网生活方式、消费新生态、消费升级服务于一体的会员制消费服务平台。 小黑鱼在新加坡、马尼拉、胡志明市、新德里和班加罗尔等城市拥有本地化运营中心和研发团队,业务遍及南亚,东南亚和欧洲市场,拥有电商平台、游戏、在线社交等多条出海互联网产品线,致力于为全球用户提供高质量的互联网产品。
经过近些年的发展,客户团队遇到了诸多挑战。客户的热门游戏每天产生数十亿个事件,数据量大且分散,难以发现可行性见解。随着业务规模的扩大,由于传统数仓是基于严格的架构来存储数据,不适合处理实时分析或者响应自发式查询,客户原先使用的传统数据仓库已经无法满足业务需求,所以WebEye综合其产品特点帮助其重新选型,以谷歌云平台为基础进行了数据仓库建设的规划。
针对客户数据平台的痛点需求,WebEye为客户推荐了BigQuery + Dataflow 的方案,用于从AWS RDS 数据库捕获数据并将其同步到 BigQuery, 该解决方案依赖于 Cloud Dataflow 和 Debezium,以及用于变更数据捕获的优秀开源项目。客户对BigQuery和Dataflow的整体性能和使用成本进行了测试评估,认可了该方案,该方案满足了客户对于数据的分析实际处理需求,并向客户提供了持续、定期的管理、维护和支持,包括机器的可用性和性能监控、成本优化和告警策略等。
数据同步的整体方案使用开源工具 Debezium 来解析RDS 的实时数据,并通过 pub/sub 进行数据的投递传输,最终使用Dataflow 进行ETL处理之后写入BigQuery 的表中,实现 BigQuery 表与业务表的数据同步,让客户可以在 BigQuery中 基于业务数据进行实时的数据分析,将分析结果通过 Tableau 进行报表展示,反馈业务运营部门。
客户享受到了GCP数据仓库无与伦比的性能体验,实现了实时业务数据的分析展示,更加高效的完成业务决策。
#BigQuery
#Compute Engine
#Cloud CDN
#Cloud SQL
#Cloud Dataflow
#Cloud Logging
#Cloud Functions
#Translate
#Cloud Storage
#Cloud Memorystore for Redis
#Cloud Pub/Sub
#Data Catalog