Orion 是一家娱乐短视频公司,公司每天为全球讲英语和西班牙语的人提供超过 10,000 条丰富有趣的短视频内容。 在给用户带来欢乐的同时,这些短视频也可以通过WhatsApp轻松分享给朋友。
为了在激烈的欧美市场快速准确地找到目标用户,不断提升每个用户的产品体验,深化内容市场,公司成立了专门的大数据工程团队,提供更全面、更智能的产品开发和运营自动化数据分析平台,帮助产品实现快速迭代和快速成长。
随着移动用户流量增速逐渐放缓,用户增长从野蛮增长转向精细化运营。 在过去的一年多时间里,Orion团队遇到了很多挑战,原有的 IT 架构已经无法满足业务快速发展的需求。
传统的商业模式通过部署在数据中心的服务器、存储、交换机等硬件设备提供计算和存储网络资源。 资源配置缺乏灵活性和敏捷性,一次性投入较大,无法适应业务的快速变化。 无法满足客户地域分布广、流量高峰时间集中的特点,以及运营团队日益增长的分析需求; 另一方面,大规模的数据分析处理对机器的计算能力提出了更高的要求。
因此,原有的传统数据仓库系统面临着大规模计算的巨大挑战。 同时,自建大数据平台还受到资源和人才短缺的限制,迫切需要一个具有现代架构的数据系统来满足业务发展的需要。
为帮助 Orion 应对这些挑战,WebEye 综合其产品特性、业务目标、业务发展、安全需求、技术能力等因素,帮助其重构系统架构,基于谷歌云平台进行整体大数据战略规划,提供 Orion 采用一站式数据采集、存储和分析解决方案架构,使用 GCP Cloud Pub/Sub、Cloud Function、Cloud Dataflow、Cloud Dataproc、Cloud Storage、Cloud ML、Firebase、BigQuery 等服务覆盖数据访问数据输入, 数据预处理、数据存储、机器学习、数据查询分析等场景,提供离线实时完整的大数据平台解决方案。 使用GCP BigQuery作为数据仓库,高效分析海量数据集,及时生成运营报告,为每个用户定制或推荐视频内容,极大提升用户体验。
Orion 通过 Google Ads、GA360、Firebase、AppsFlyer、Kafka 等渠道从 App 中收集数据,并根据数据源格式和数据的实时性要求,以多种方式将数据导入 Cloud Storage。
导入Cloud Storage的数据可通过BigQuery进行查询分析,分析结果与市场和运营活动实时同步,并根据分析结果及时优化调整运营计划和内容。 同时利用Cloud ML针对市场反馈结果和历史分析数据不断优化训练模型,不断提升业务流程和质量。