Google公司的AppEngine-MapReduce
根据Google公司开发人员Mike Aizatskyi的说法,所有Google团队都在使用于2004年首次推出的MapReduce。Google公司发布了一个作为“MapReduce API的早期实验性发布版本”的AppEngine-MapReduce API以支持在Google App Engine上运行Hadoop 0.20程序。之后,该开发团队于2011年三月发布了低层次API v1.4.3版,以便于为Blob和改进开源用户空间Shuffler功能的中间结果提供一个类文件的系统(图2)。

图2
Google AppEngine-MapReduce的Shuffle在一个I/O 2012会话中进行处理。
Google AppEngine-MapReduce API通过一个Google Pipeline API精心安排Map、Shuffle和Reduce操作。在一段视频短片中该公司为I/O 2012介绍了AppEngine-MapReduce的目前状态。但是,直至2012年春季Google公司还没有改变对其“早期实验性发布版本”的描述。AppEngine-MapReduce的主要目标对象是Java和Python程序员,而不是大数据科学家和分析专家。Shuffler受限于约100MB的数据集,很明显这不属于大数据应用的范畴。对于更大的数据集,你可以请求访问Google的BigShuffler。









