近日,英特尔在旧金山推出了Intel版Hadoop第三个版本,英特尔认为,随着大数据时代的到来,以至强和Atom处理器为基础的Hadoop发行版在不久的将来将会迅速增长。
目前市场上的Hadoop发行版与开源版种类很多。IBM、Oracle、Microsoft、Intel、EMC等知名厂商都有着自己的Hadoop发行版,而英特尔则拥有在Apache开源版基础上修订的发行版和免费版两个Hadoop版本。从处理器、固态硬盘以及网络等入手帮助用户提供一个完整的大数据解决方案。
英特尔Hadoop发行版提供出色的安全性和灵活性。intel在发布会上还分享了Hadoop版本的发展历程。这主要是根据客户对这方面的要求,尤其是一些中国的客户,如中国移动和中国电信等企业的支持。
英特尔加强为数据中心提供了一个框架,可以连接和管理设备并实现一个可扩展的方式,Hadoop架构具有巨大的潜力,可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。
Intel Hadoop发行版架构
Intel Hadoop发行版使用AES-NI指令集竟传输速度提升20倍以外,同时,还能公户SSD换存储来实现优化,查询速度比Hive快8.5倍,通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。
以往分析1TB的数据需要4个多小时到如今只需要7分钟就能处理完成,这主要是Intel对芯片、存储系统、网络和Hadoop的优化所取得结果,帮助用户实现更高性能的计算。
英特尔在工作中有许多项目,包括将标准的SQL语言以及给Hadoop与AES加密部署。
Intel Hadoop发行版创新项目
英特尔的目标是使Hadoop更容易使用,英特尔也希望越来越多的客户采用Hadoop集群,这样将会带来更多的芯片销售。
总体而言,交通和建筑部门如今已经有越来越多的用户开始建立Hadoop的大数据应用,英特尔将推动Hadoop技术的发展并帮助满足客户需求,这样他们将能够销售更多的处理器芯片,从而甩开其竞争对手AMD和ARM。