案例:移动广告大数据的分析
陈继东重点介绍了一个案例:移动广告大数据的分析。
数据规模上一个是AdMob,另外一个是国内Top广告平台。对于AdMob的描述是:1)覆盖30万应用,3.5亿移动设备,100万个广告主;2)每天40亿广告请求量;3)每天3TB数据,总数据规模为PB级别。而对于国内Top广告平台的描述为:1)覆盖4万应用、1.2亿移动设备,500家广告主;2)日PV3.6亿,月广告展示数100亿;3)每天100GB、数据规模达到了TB级别。
在分析方法上,陈继东介绍了两种。一种是实时统计分析,包括Count、sum、unique visit;并行数据挖掘包括分类、聚类、CTR预估、Topic Model、频繁模式挖掘和时序分析。
在移动广告平台架构上,陈继东首先介绍了大数据平台的选择。1)实时计算和传输,做到流处理,具体工具包括:Twitter Storm和Linkedin Kafka;2)并行处理和离线分析,基于Hadoop,具体包括Hadoop MapReduce和Hadoop Hive;3)高性能大数据存取,基于NoSQL,包括Hadoop HBase和Redis缓存。
图片说明
同时,陈继东也展示了人人游戏的移动广告平台架构的全貌。