云计算

    CERN如何应对EB级高能物理数据?

         [ 中关村在线 厂商稿 ] 暂无评论

          欧洲核子研究中心(CERN)成立于1954年,是世界上最大的粒子物理学实验室,主要业务是探索宇宙本源,促进人类进步,培养下一代科技接班人。CERN有22个成员国,主要来自欧洲,合作伙伴遍布全球机构和院校,大约1.2万来自70国家和105不同国籍的科学家来到CERN从事研究,这是世界上一半的粒子物理学家。2012年,闻名世界的希格斯玻色子(俗称"上帝粒子")就是在CERN的大型强子对撞机(LHC,LargeHadronCollider)实验中发现的。

      近日,CERNIT部门的资源管理团队负责人JanvanEldik在2017华为全联接大会(HUAWEICONNECT2017)上,介绍了CERN正在采用的一些方法,应对未来其实验产生的快速增长的数据洪流。

    CERN如何应对EB级高能物理数据?
      图1JanvanEldik在HuaweiConnect2017上发言

      海量数据的源头

      CERN拥有大型强子对撞机LHC--世界上最大的粒子加速器。LHC是一个全长27公里的环(如下图),位于瑞士日内瓦近郊,贯穿瑞法边境。LHC把环超导磁体安装在地下100米,创造出比地球磁场强10万倍以上的磁场,在抽成真空的磁体管道里,粒子被加速到接近光速的水平,在4个大型实验的粒子探测器里进行碰撞:ATLAS,CMS,ALICE,LHCb。

      在大型强子对撞机实验的探测器中,每秒可进行多达10亿次的粒子对撞,我们不可能读出所有这些事件,因此"Trigger(触发)"系统用于层层过滤数据,并选择那些对进一步分析有潜在价值的事件。

      这些操作产生的数据随后通过全球LHC计算网格(WLCG,WorldLHCComputingGrid)的系统从CERN数据中心分发到42个国家的170个计算中心。在撰写本文时,CERN数据中心已经在磁带上存储了超过200PB的数据,预计每月增加PB级的新数据。

    CERN如何应对EB级高能物理数据?
      图2.LHC与其试验场景

      为什么选择公有云

      自2013年以来,CERN部署了一个基于OpenStack的私有云,用于管理位于瑞士梅兰(Meyrin)的主数据中心资源,以及位于匈牙利布达佩斯的远程扩展数据中心。今天,这朵私有云包括大约10,000台双CPU服务器,约300,000个处理器内核,服务于约3600个项目,包括高密度计算,物理数据分析和虚拟服务配置。

      计划升级LHC及在CERN进行的更多实验,意味着对计算和存储的需求将大大增加。例如,当LHC的后继者,高亮度LHC在2026年上线的时候,ATLAS和CMS的实验期望收集和重建的碰撞事件比现在多5到10倍。使用当前的软件,硬件和分析技术,所需的计算能力预计比现在高出大约50-100倍。到那时,数据存储需求预计将达到EB级(1EB=109G)。

      简单地按ICT新增资源量来等比增加预算,以缩小"资源缺口"是不现实的。为确保资源利用的最大效率,探索新技术和方法至关重要,目前正在研究的一种方法是采用混合模式,在内部资源不够的情况下,CERN可以使用商用的云服务资源来动态扩展其内部资源。

      携手OpenTelecomCloud来应对未来挑战

      目前CERN正在通过HelixNebula("螺旋星云")项目来进行公有云试点。今年早些时候,三家公司通过公开竞标被选中进入了"原型阶段"。

      其中一家就是基于OTC(OpenTelekomCloud)提供解决方案。OTC是由德国电信和华为共同构建的公共云平台,华为提供基于OpenStack的架构并支持相关的解决方案。在"原型开发"阶段,OTC已经在科学计算领域向CERN交付了HPC公共云解决方案,部署了数千个HPC节点,并分析了高能粒子碰撞的结果。

      "OTC最大的优点是基于OpenStack,架构与CERN现有的私有云相同,这意味着它可以灵活动态地扩展CERN的内部资源。"Eldik说。

      CERN与华为都是OpenStack开源项目的贡献者,同时,华为还是OpenStack基金会的铂金会员,未来CERN与华为将在OpenStack领域进行更多的深度技术合作

      "通过CERNopenlab项目,我们已经开始共同努力改进OpenStack,尤其是在大规模运行OpenStack的时候......这将允许OpenStack社区的每个人都从这些社区的努力中受益,我对这些特别的项目非常兴奋,我期待在未来几年看到它们在CERN的云中开花结果,"Eldik先生补充说。

    关注排行榜

    产品品牌

    文章推荐

    互动沙龙

    相关内容 网友评论 返回首页
    专家咨询