Orion 是一家娱乐短视频公司，公司每天为全球讲英语和西班牙语的人提供超过10,000条丰富有趣的短视频内容。 在给用户带来欢乐的同时，这些短视频也可以通过 WhatsApp 轻松分享给朋友。为了在激烈的欧美市场快速准确地找到目标用户，不断提升每个用户的产品体验，深化内容市场，公司成立了专门的大数据工程团队，提供更全面、更智能的产品开发和运营自动化数据分析平台，帮助产品实现快速迭代和快速成长。
客户挑战
随着移动用户流量增速逐渐放缓，用户增长从野蛮增长转向精细化运营。 在过去的一年多时间里，Orion 团队遇到了很多挑战，原有的 IT 架构已经无法满足业务快速发展的需求。
传统的商业模式通过部署在数据中心的服务器、存储、交换机等硬件设备提供计算和存储网络资源。资源配置缺乏灵活性和敏捷性，一次性投入较大，无法适应业务的快速变化。无法满足客户地域分布广、流量高峰时间集中的特点，以及运营团队日益增长的分析需求；另一方面，大规模的数据分析处理对机器的计算能力提出了更高的要求。
因此，原有的传统数据仓库系统面临着大规模计算的巨大挑战。同时，自建大数据平台还受到资源和人才短缺的限制，迫切需要一个具有现代架构的数据系统来满足业务发展的需要。
解决方案
为帮助 Orion 应对这些挑战，WebEye 综合其产品特性、业务目标、业务发展、安全需求、技术能力等因素，帮助其重构系统架构，基于谷歌云平台进行整体大数据战略规划，提供 Orion 采用一站式数据采集、存储和分析解决方案架构，使用 Google Cloud Cloud Pub/Sub、Cloud Function、Cloud Dataflow、Cloud Dataproc、Cloud Storage、Cloud ML、Firebase、BigQuery 等服务覆盖数据访问数据输入， 数据预处理、数据存储、机器学习、数据查询分析等场景，提供离线实时完整的大数据平台解决方案。 使用 Google Cloud BigQuery 作为数据仓库，高效分析海量数据集，及时生成运营报告，为每个用户定制或推荐视频内容，极大提升用户体验。
Orion 通过 Google Ads、GA360、Firebase、AppsFlyer、Kafka 等渠道从 App 中收集数据，并根据数据源格式和数据的实时性要求，以多种方式将数据导入 Cloud Storage。
- Google Ads、GA360 等谷歌内部平台的数据可通过 Cloud Function 直接导入 Cloud Storage，无需格式转换
- 通过 Firebase 采集的数据支持一键同步到 BigQuery 然后传递到 Cloud Storage，经过 Cloud Dataproc 处理后导入到 Cloud Storage
- 通过 Appsflyer、Kafka 等第三方平台采集的数据，可根据数据的实时性，通过 Dataflow 以实时或批量导入的方式传输至 Cloud Storage
导入 Cloud Storage 的数据可通过 BigQuery 进行查询分析，分析结果与市场和运营活动实时同步，并根据分析结果及时优化调整运营计划和内容。 同时利用 Cloud ML 针对市场反馈结果和历史分析数据不断优化训练模型，不断提升业务流程和质量。
客户收益
- 通过托管服务，并利用抢占式实例、动态伸缩等功能，在满足业务需求的前提下，有效控制云服务成本。 依托谷歌云平台的托管服务，大大降低了运维投资。
- 研发效率提升50%。
- 基于 BigQuery 的数据分析和数据洞察，为用户实施定制化的内容推荐，提升用户体验。
