Orion 是一家娱乐短视频公司,公司每天为全球讲英语和西班牙语的人提供超过10,000条丰富有趣的短视频内容。 在给用户带来欢乐的同时,这些短视频也可以通过 WhatsApp 轻松分享给朋友。为了在激烈的欧美市场快速准确地找到目标用户,不断提升每个用户的产品体验,深化内容市场,公司成立了专门的大数据工程团队,提供更全面、更智能的产品开发和运营自动化数据分析平台,帮助产品实现快速迭代和快速成长。
客户挑战
随着移动用户流量增速逐渐放缓,用户增长从野蛮增长转向精细化运营。 在过去的一年多时间里,Orion 团队遇到了很多挑战,原有的 IT 架构已经无法满足业务快速发展的需求。
传统的商业模式通过部署在数据中心的服务器、存储、交换机等硬件设备提供计算和存储网络资源。资源配置缺乏灵活性和敏捷性,一次性投入较大,无法适应业务的快速变化。无法满足客户地域分布广、流量高峰时间集中的特点,以及运营团队日益增长的分析需求;另一方面,大规模的数据分析处理对机器的计算能力提出了更高的要求。
因此,原有的传统数据仓库系统面临着大规模计算的巨大挑战。同时,自建大数据平台还受到资源和人才短缺的限制,迫切需要一个具有现代架构的数据系统来满足业务发展的需要。
解决方案
为帮助 Orion 应对这些挑战,WebEye 综合其产品特性、业务目标、业务发展、安全需求、技术能力等因素,帮助其重构系统架构,基于谷歌云平台进行整体大数据战略规划,提供 Orion 采用一站式数据采集、存储和分析解决方案架构,使用 Google Cloud Cloud Pub/Sub、Cloud Function、Cloud Dataflow、Cloud Dataproc、Cloud Storage、Cloud ML、Firebase、BigQuery 等服务覆盖数据访问数据输入, 数据预处理、数据存储、机器学习、数据查询分析等场景,提供离线实时完整的大数据平台解决方案。 使用 Google Cloud BigQuery 作为数据仓库,高效分析海量数据集,及时生成运营报告,为每个用户定制或推荐视频内容,极大提升用户体验。
![](../images/Orion1.webp)
Orion 通过 Google Ads、GA360、Firebase、AppsFlyer、Kafka 等渠道从 App 中收集数据,并根据数据源格式和数据的实时性要求,以多种方式将数据导入 Cloud Storage。
- Google Ads、GA360 等谷歌内部平台的数据可通过 Cloud Function 直接导入 Cloud Storage,无需格式转换
- 通过 Firebase 采集的数据支持一键同步到 BigQuery 然后传递到 Cloud Storage,经过 Cloud Dataproc 处理后导入到 Cloud Storage
- 通过 Appsflyer、Kafka 等第三方平台采集的数据,可根据数据的实时性,通过 Dataflow 以实时或批量导入的方式传输至 Cloud Storage
导入 Cloud Storage 的数据可通过 BigQuery 进行查询分析,分析结果与市场和运营活动实时同步,并根据分析结果及时优化调整运营计划和内容。 同时利用 Cloud ML 针对市场反馈结果和历史分析数据不断优化训练模型,不断提升业务流程和质量。
客户收益
- 通过托管服务,并利用抢占式实例、动态伸缩等功能,在满足业务需求的前提下,有效控制云服务成本。 依托谷歌云平台的托管服务,大大降低了运维投资。
- 研发效率提升50%。
- 基于 BigQuery 的数据分析和数据洞察,为用户实施定制化的内容推荐,提升用户体验。