云计算
    作者:张浩

    唐洪 飞天5K普通开发者可以使用的超级集群

         [ 中关村在线 原创 ] 暂无评论

      2013年8月,历时4个月,阿里集团涵括云梯1空间优化与跨机房集群扩展、以及云梯2 单集群规模从1500台升级到5000台,同时实现跨集群扩展的5K项目顺利取得阶段性成果。世界范围内,像google、facebook这样的顶级技术型IT公司,集群的规模就是按照5000来划分的,而此前国内还没有这样的技术。借助5K项目,阿里集团取得了自身技术发展史上的一次划时代的突破!

      在今年的阿里云计算大会上,阿里云资深总监唐洪接受了记者的采访,唐总提到:从某种意义上讲5K是一个基础,并不是根本的目标,我们做5K一方面是为整个云服务提供基础服务,另一方面是为广大的开发者提供大规模的计算能力。

    唐洪 飞天5K普通开发者可以使用的超级集群
    阿里云资深总监唐洪

      一个普通的开发者,当他有一个需求,想要用5000台机器,跑一个小时,做一些事情的时候。今天阿里云有这个能力提供出去,这件事情是亚马逊也没有的facebook 也没有的,谷歌没有做的事情。

      那么飞天5K到底是一个什么样的项目呢。首先云梯1和云梯2都是阿里集团处理海量数据储存与计算的系统,前者底层为Hadoop,后者底层为阿里云自主研发的ODPS和飞天。

      对于云梯这样的大规模分布式离线存储和计算集群来说,扩展性一直是其重中之重。如果某一天云梯集群不能通过加机器来增加存储空间和计算能力时,那么云梯将无法继续支撑集团的离线计算业务。到今年上半年,云梯遭遇了机房容量的限制。

        业务规模增长迅速,预计离线计算集群将从现在的2个集群6000多台,增长到6个集群共21000台服务器,单集群规模要达到5000台,整个计算、存储、数据管理等技术都遇到极大的挑战。为了突破集群存储的瓶颈,阿里云飞天团队、集团核心系统部、集团技术保障部、CDO数据平台等多个团队紧密协作,成功实现单集群超越5000台、多集群跨机房计算,并完成集群业务的大腾挪。

    提示:支持键盘“← →”键翻页
    本文导航

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询