小黑鱼于2017年成立于南京，是一家集移动互联网生活方式、消费新生态、消费升级服务于一体的会员制消费服务平台。 小黑鱼在新加坡、马尼拉、胡志明市、新德里和班加罗尔等城市拥有本地化运营中心和研发团队，业务遍及南亚，东南亚和欧洲市场，拥有电商平台、游戏、在线社交等多条出海互联网产品线，致力于为全球用户提供高质量的互联网产品。

客户挑战

经过近些年的发展，客户团队遇到了诸多挑战。客户的热门游戏每天产生数十亿个事件，数据量大且分散，难以发现可行性见解。随着业务规模的扩大，由于传统数仓是基于严格的架构来存储数据，不适合处理实时分析或者响应自发式查询，客户原先使用的传统数据仓库已经无法满足业务需求，所以 WebEye 综合其产品特点帮助其重新选型，以谷歌云平台为基础进行了数据仓库建设的规划。

解决方案

针对客户数据平台的痛点需求，WebEye 为客户推荐了 BigQuery + Dataflow 的方案,用于从 AWS RDS 数据库捕获数据并将其同步到 BigQuery， 该解决方案依赖于 Cloud Dataflow 和 Debezium，以及用于变更数据捕获的优秀开源项目。客户对 BigQuery 和 Dataflow 的整体性能和使用成本进行了测试评估，认可了该方案，该方案满足了客户对于数据的分析实际处理需求，并向客户提供了持续、定期的管理、维护和支持，包括机器的可用性和性能监控、成本优化和告警策略等。

数据同步的整体方案使用开源工具 Debezium 来解析 RDS 的实时数据，并通过 pub/sub 进行数据的投递传输，最终使用 Dataflow 进行 ETL 处理之后写入 BigQuery 的表中，实现 BigQuery 表与业务表的数据同步，让客户可以在 BigQuery 中基于业务数据进行实时的数据分析，将分析结果通过 Tableau 进行报表展示，反馈业务运营部门。

客户收益

  • 为客户提升数仓性能的同时节省了大量的人员及资源使用成本
  • 帮助客户平滑的完成了数仓数据的迁移, AWS 迁移到 Google Cloud 后扩容速度更快，资源扩容更加匹配业务负载曲线，节省20%成本
  • 打破了不同云提供商之间的数据孤岛，帮助客户实现了业务数据向 BQ 实时同步的需求。

‍

客户享受到了 Google Cloud 数据仓库无与伦比的性能体验，实现了实时业务数据的分析展示，更加高效的完成业务决策。

使用产品

  • BigQuery
  • Compute Engine
  • Cloud CDN
  • Cloud SQL
  • Cloud Dataflow
  • Cloud Logging
  • Cloud Functions
  • Translate
  • Cloud Storage
  • Cloud Memorystore for Redis
  • Cloud Pub/Sub
  • Data Catalog