Heroku的Treasure Data Hadoop附件可使开发运行人员使用Hadoop和Hive来分析托管应用程序的日志和事件,这是该技术的主要功能之一。其他的Heroku大数据附件包括Cloudant的Apache CouchBase实施、源自于 MongoLab 和 MongoHQ的MongoDB、Redis To Go、Neo4j (Java图形数据库的公共版本)以及RESTful指标。被称为“.NET Heroku”的AppHarbor提供了类似的附件选择,其中包括了Cloudant、MongoLab、MongoHQ 和 Redis To Go,再加上RavenHQ NoSQL 数据库加载项。Heroku和AppHarbor都不支持通用Hadoop实施。
SmartCloud中的IBM Apache Hadoop
IBM公司于2011年十月开始以IBM SmartCloud企业版中InfoSphere BigInsights Basic的形式提供基于Hadoop的数据分析。可管理多达10TB数据的BigInsights Basic还有可用于Linux系统的免费下载版本;BigInsights企业版是一个收费的下载版本。这两个下载版本都提供了Apache Hadoop、HDFS、MapReduce框架,以及一整套的Hadoop子项目。可下载企业版包括了一个可用于编写文本分析、类似电子表格的数据发现与挖掘工具、以及JDBC连接至Netezza和DB2的基于Eclipse插件。两个版本都提供了集成的安装与管理工具(图3)。
图3
IBM的大数据平台和使用界面。(图片由IBM提供)
我的测试——驱动IBM的SmartCloud企业基础设施作为服务:第一部分和第二部分的教程介绍了于2011年四月发布的SmartCloud企业免费试用版的管理功能。从IBM的技术出版物来看,目前还不清楚公共云计算中可下载BigInsight版中可提供些什么功能。他们的云计算:IT专业人士社区资源页面中只列出了一个BigInsights Basic 1.1:Hadoop Master 和数据节点镜像;一个IBM公司的代表证实,SmartCloud版并不包括MapReduce或其他的Hadoop子项目。Hadoop提供的SmartCloud教程解释了如何在SmartCloud企业版中配置和测试一个三节点的集群。由此可见,IBM当前的BigInsights云计算版本正在错失数据分析中的关键元素。