GCP云原生产品助力Modooplay业务增长，轻松部署数据抓取平台
关于Modooplay
ModooPlay 是一家专业的 Android 和 iOS 系统休闲游戏发行商。 2017年至今，ModooPlay已与全球100+工作室合作，帮助150+游戏登上全球排行榜。
面临的挑战
为了应对海外业务的快速发展，不断提高游戏、广告投放和决策效率。modooplay需要整合多方数据源，脱离原来只使用GA采集的方案。
同时，构建这样的事件采集存储系统，也有以下技术要求：
- 业务的峰值20万 rps 和低谷 2万rps，系统必须要有很强的弹性扩缩能力
- 系统采集的是第三方的数据，数据源对访问的IP有白名单的限制。对系统设计要求，要保证IP出口是固定的
- 系统本身尽可能减少运维的投入，降低人力、基础架构的运维成本
解决方案
通过前期的需求沟通和建议，Webeye团队向Modooplay推荐了基于Google Cloud的系统方案。
基于Google Cloud构建这个平台，有以下优势：
- 解决数据孤岛：在google cloud上构建数据采集平台，可以天然的和GA的数据、Google Ads的数据进行整合，不需要跨云平台
- 在网络上，有全球VPC，有Cloud NAT，解决客户唯一出口IP的需求
- 客户端事件采集后端，利用gclb和instance group，实现动态扩缩
- 利用GKE部署数据抓取服务，并定时执行批处理任务，将抓取过的数据，存储到cloud storage中
- 数据存储：事件数据-GCS，买量变现的业务数据-Cloud SQL
- 持续集成：Cloud Build，Container registry产品，GCP云原生的代码仓库、镜像仓库
客户收益
- 整个系统能保障事件采集的SLA，至少99.99%。
- 保证弹性伸缩过程中，数据不会丢失。
- 没有系统运维的工作投入，全身心投入开发工作即可。
