澳氪于1998年成立于上海，是一家以创新科技为驱动、秉承上海外贸精神的跨境电子商务公司。经过22年的努力，澳氪在美国、加拿大、德国以及英国、法国、意大利、澳大利亚和波兰等8个国家，建立了20个海外仓储和营销中心，自营“海外仓”面积40万平方米，拥有海内外员工1100余人，现已成为长三角地区跨境出口电子商务的领头羊。
客户挑战
- 客户还没有建立数据仓库和完善的数据分析平台，还在用 Excel 做周报。随着业务范围的扩大，原有的数据处理体系已不能满足其日益增长的数据量和数据分析需求，迫切需要寻找新的技术替换方案。
- 数据非常分散，不同的应用系统有多个阿里云数据库，GA ，Google ads 等多个外部数据源，无法进行全局的数据挖掘。
- 没有完备的数据分析团队，运维人员紧缺。
解决方案
针对客户数据平台的痛点需求，WebEye 为客户推荐了 BigQuery + Looker 的方案。客户对 BigQuery 和 Looker 的整体性能和使用成本进行了测试评估，认可了该方案，同时 WebEye 为客户设计了一套从阿里云 MySQL 同步数据到 BigQuery 的数据处理方案，满足了客户对于数据的分析实际处理需求，并向客户提供了持续、定期的管理、维护和支持，包括机器的可用性和性能监控、成本优化和告警策略等。
数据同步的整体方案使用脚本连接数据库并定时批量导出数据到 BigQuery，可同时并行处理多张表。实时监控同步任务，并根据同步数据量动态调整机器数量和配置，帮助客户设置合理的告警策略及告警阈值，优化性能和消耗。针对某些表中含有 BigQuery 不兼容的数据格式(如 blob )，采用 dataflow jdbc to bigquery 模版同步到 BigQuery。同时 GA4 和 Google Ads 的数据通过 data transfer 也导入 BigQuery 中，与 MySQL 中的业务数据打通，连接 Looker 制作数据模型和分析看板，反馈给运营和产品部门。
客户没有数据分析的团队，对于大数据平台部署管理能力较弱，因此客户选择 WebEye 的 MSP 全托管，WebEye 将负责数据平台的构建，主要负责数仓数据的构建，数据分析的逻辑梳理，打通 BI 展示全流程，使客户可以更专注于业务本身。
使用产品
- Google Compute Engine
- Cloud Dataflow
- Bigquery
- Looker
