近两年,IT业界创造了很多新名词,继云计算之后就是大数据。如果你在谷歌里搜索一下会发现,国内外IT业界提到“大数据(Big Data)”的频率都要远远高于其他名词,甚至其搜索频率高过了“云计算”。其实,云计算不是浮云,大数据也不会是洪水猛兽。

图 Informatica核心技术部资深产品管理总监郑玮
那么,什么是大数据?郑玮则一针见血地指出:什么是大数据:大交易数据、大交互数据和大数据处理的总称。相对于业界提出大数据的规模性(Volume)、多样性(Variety)、高速性(Velocity)和真实性(Veracity)的“4V理论”,郑玮更加推崇大数据的三个特征(3V:Volume、Variety、Velocity),除了数据总量之外,还有数据的速度和种类。
第三方市场调研IDC公司预测,未来10年,数据总量将增长44倍,达到35ZB(Zettabyte)。这些庞大的数据量、80%的混合结构数据,以及考验CIO神经的数据分析处理能力,都对企业应对大数据综合实力提出了高质量的要求。
当然,我们看到有很多行业仍然显得风平浪静,远不像互联网、金融、制造业等竞行业竞争那么激烈,但是从行业竞争的角度来说也是“暗流涌动”。 Gartner研究表明,全球500强中85%的企业将无法利用他们的大数据,而且,如果没有得到正确的管理,大数据也可能代表了巨大的成本和法规遵从风险。
对处理数据的平台带来新的压力。采用昂贵的设备进行数据处理当然好,但巨大的成本压力已成为很多企业难以承受的负重。用户希望能够以更经济的方式、更好的性能来处理数据,从而能够经济有效地利用快速增长的数据推动业务创新。在这样的背景下,Hadoop获得了快速发展。
Hadoop的魅力在哪里?
2008年,作为Apache开源项目发布的Hadoop,自问世以来几乎成为了大数据的救世主。Hadoop的两个重要特性:经济性和可扩展性,让其一时间红遍全球IT界。一些开路先锋已经投入很大精力来开发Hadoop,Hadoop取得的成功同时也促使主流市场对其稳定性、成熟的管理等更高的需求。这个群体中有影响力的主要厂商包括Cloudera、亚马逊、MapR、Hortonworks、DataStax、EMC、IBM、Informatica、微软和甲骨文等。
Hadoop的魅力到底在哪里?郑玮指出其中原因,Hadoop结合了成本低、可扩展性、无需构建预定义模式(predefined schema),而且能够灵活地处理任何数据等优点。
当然,能够让Hadoop几乎一夜成名的原因还在于Hadoop能够真正提高大数据的价值。精益原则在大数据时代比以往任何时候都有效,并且是使大数据不成为大债务的关键。Hadoop使企业能够使用精益数据管理,以降低数据成本,这包括:业务成本、硬件成本、人工成本、软件成本、存储成本。此外,通过易访问性、可操作性、权威性、整体性、相关性、安全性、及时性、可信性等特性,Hadoop还能帮助客户增加数据的价值。











