热点:

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观

      [  中关村在线 原创  ]   作者:徐鹏

        对于一家107年历史的企业来说,转型、再加速,谈何容易,其难度不仅在于技术架构的迭代升级,更在于战略与文化的重新思考。过去一年,人们见证了科技行业的两笔重磅交易:微软75亿美元收购GitHub、IBM 340亿美元收购红帽,两家IT巨头先后掷下千金显然已酝酿多时,其背后的理念转变更为深刻,那就是“开放”。事实上,比起微软对Linux的态度180°改变,IBM很早就投入数十亿美元拥抱Linux,并在此之上构建了工具和应用,而作为践行IBM开放策略的重要体现——OpenPOWER,在历经五年的发展之后收获了丰厚的技术成果和生态伙伴。

        近年来,围绕摩尔定律是否失效的言论不绝于耳,大家对此且不急于下论断,但一个实际情况是随着硅芯片逼近物理和经济成本上的极限,人们在运行深度学习、机器学习、神经网络等AI工作负载的时候,开始寻求新的架构去打破已有的算力瓶颈,异构计算由此而来。除了在高性能计算领域大杀四方,异构计算同样吸引了越来越多的行业参与者加入,由IBM、DELL EMC、Google、HPE、Mellanox、NVIDIA、Xilinx等企业所支持的OpenCAPI可谓其中的代表,其背后就是OpenPOWER,POWER9也是OpenCAPI首发的平台。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    2018 OpenPOWER中国高峰论坛

        当然,OpenPOWER与IBM的POWER并不能划等号,IBM将高水准的“原厂”POWER从CPU级别的专利授权到CAPI技术进行了全面开放,正是这种开放的架构和生态成就了OpenPOWER。在2018 OpenPOWER中国高峰论坛上,IBM大中华区董事长陈黎明直言:“‘封闭’也许赢得先机,但是‘开放’肯定代表未来!”为此,IBM作为OpenPOWER基金会的重要成员和技术推动者,将继续和合作伙伴们一起,构建一个和谐、健康的合作生态,带来更高价值的服务。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    IBM大中华区董事长陈黎明

        目前,OpenPOWER基金会已经吸纳了来自35个国家和地区的340多家成员,有超过10万款Linux应用在Power上运行,2500多家ISV厂商在Linux上贡献代码,合作伙伴推出了超过150种OpenPOWER认证产品。与此同时,工信部自2014年以来也在积极推动IBM与中国企业加强技术交流合作,先后签订了工信部与IBM关于支持OpenPOWER技术合作的谅解备忘录、关于支持软件联合创新的谅解备忘录,推动成立中国POWER技术产业生态联盟、建立联合创新实验室等,打造开放的生态环境。中国元素,已成为推动OpenPOWER产业发展的中坚力量。

    与中国共成长的OpenPOWER

        当万物皆智能逐渐成为企业数字化转型的风向标,AI基础设施也在经历从通用架构到并行计算,再到专有架构的三级跃迁,单一的x86架构在特定场景的计算能力亦在经受考验。可以看到,这些年来越来越多的中国企业在借助OpenPOWER进行业务创新,其中不乏阿里、腾讯这样的互联网巨头,也有中国移动、中国石油这样的传统行业老大,以及Zilliz这样快速发展的创业公司。2018年,来自中国地区的OpenPOWER会员数量升至50个左右,并且会员增幅达到20%,是成长最快的一年。期间,中国市场的关注方向也由原先比较着重于硬件开发者,转变为对ISV进而到生态的培育,包括大数据分析、GPU、数据库等解决方案的打造。

        OpenPOWER基金会会长Bryan Talik表示,基金会的主要工作可以从三个领域来看:第一是促进各方之间更为深度的技术合作,确保参与者的软件和硬件研发工作更有效率,加速新产品上线。为此,OpenPOWER在10月吸纳了中国科学院计算机网络信息中心加入了基金会,并在12月初与后者共同创办了中国首家OpenPOWER联合培训中心,培养能够掌握运用相关技术和解决方案的人才。此外,OpenPOWER还准备在2019年成立“卫星工作小组”,以便在中国有专人负责、更好地补充和推动基金会在技术层面的工作,加强本土化开发和相关标准的制定。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    OpenPOWER基金会会长Bryan Talik

        第二是推进生态系统的培育和演进,包括将从事系统、软件和组件开发的供应商有机协调起来去适应大数据、人工智能等现代化的工作流程。一方面OpenPOWER在2019年会把更多的精力放在ISV身上,通过培训中心等形式帮助他们将更优质的应用放到OpenPOWER平台,另一方面其也会与阿里、深圳大学等客户开展更为多元化的合作。

        一个协作开发的经典案例是,在2016年的OpenPOWER峰会时,加速器工作组有10个成员发现针对CAPI FPGA的编程非常困难,于是开始合作开发软件堆栈直至做出CAPI Snap,如今已经有20个顶尖院校可以使用这项技术展开竞赛。为了进一步深化与中国市场的合作关系,OpenPOWER基金会甚至安排了专职的工作人员。

        第三是强化OpenPOWER的品牌认知,继续在全球各地积极举办峰会活动,借此展示OpenPOWER的前沿技术和各领域的最新案例。“OpenPOWER基金会的工作使命就是不断促进软件和硬件的开发工作,在全球最开放、最强大的处理器计算平台之上,我们希望能够通过从芯片到固件,到操作系统,到应用程序等各个方面齐头并进,为全球各地的客户提供最优秀的技术。”Bryan Talik说。

    创新源于强劲的硬件基础

        如果说Linux是推动POWER开放赋能的一座开源桥梁,那么IBM的POWER处理器就是构筑OpenPOWER联盟的硬件根基。作为IBM战略级的核心资产,POWER一直被视为高品质的代名词,运行AIX的RS/6000曾在央企和大型企业中留下深深的印迹,后来这些服务器合并为一个系列——POWER服务器,独特的性能设计渐渐成为POWER的标签。

        通常,若是x86处理器每个内核能支持2个线程,那么POWER处理器的每个内核就可以有8个线程,8路多线程POWER处理器内核的平均性能几乎是x86内核的两倍。之所以能够获得如此强劲的性能,除了线程数量,内存访问、I/O传输等多维度的考量同样重要,可以说,卓越的整体设计成就了POWER。

        在POWER9时代,IBM的设计重心开始向人工智能倾斜,这种有意的顺势而为也体现在多个方面:搭载POWER9处理器的新一代服务器Power Systems AC922集成了NVIDIA Tesla V100 32GB GPU,并通过NVLink实现直接、高速连接,数据吞吐量是基于PCle 3.0的x86服务器的5.6倍(POWER9支持PCIe Gen4),能够大幅提升Chainer、TensorFlow及Caffe等AI框架的性能,加速Kinetica等数据库效能,可以将深度学习框架的训练时效提高近四倍,推进了人工智能的部署和应用。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    笔者在现场第一次见到POWER9真身

        较上一代产品,POWER9处理器每核性能提升40%,单核线程数提升4倍,L3高速缓存提升3.3倍,处理器互联带宽提升7倍,单处理器内存容量提升2.7倍,内存带宽提升2倍(POWER10会达到435GB/s),IO总带宽提升2倍,同时具备NVLink 2.0、CAPI 2.0、New CAPI等特性,这种三位一体的硬件加速优势也让POWER9将Summit推上了TOP500榜首的宝座,并使其兼顾了GPU的深度学习能力。

        由此可以说明的一点是,POWER9的Scale Up和Scale Out能力都处在高水平,前者最大12核SMT8可支持16插槽互连,让高端的关键业务客户在单机上用胖节点实现HPC部署更加得心应手,后者则是在Summit和Sierra身上验证了自己的实力。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    IBM研究院认知系统开发副总裁、IBM院士Brad McCredie介绍POWER Roadmap

        当POWER还处于POWER4阶段的时候,Jonathan DeMent就开始参与相关的研发工作,他现在是OpenPOWER处理器及技术交付总监,他回忆称,与基金会的接洽始于大约五年前,当时的原因是看到了处理器市场的一些瓶颈和挑战,“我们是第一家做出摩尔定律正在衰亡、并且离最终结束不远的判断的公司,为此我们致力于改变自己的创新方式,进行下一代的处理器设计。”

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    OpenPOWER处理器及技术交付总监Jonathan DeMent

        正是处于对新型工作负载的考量,POWER开始将注意力投入人工智能、云计算等领域,并为此打造除了配套的软件工具,使得处理器和加速器之间能够实现无缝连接。对于客户来说,POWER架构提供的体验是高一致性的,而且基于开源技术的软件堆栈全面开放,像一些微服务的部署可以做到顺畅地运行。

    OpenPOWER生态的筑巢者

        “POWER是体系结构领域里或者说在通用处理器设计的工程领域里面的最佳实践。”浪潮商用机器有限公司(IPS)总经理胡雷钧说。IPS是去年9月浪潮与IBM宣布成立的合资公司,今年5月正式运营,旨在围绕POWER处理器技术在中国设计国产的POWER服务器和OpenPOWER服务器,从而建立一个强有力的POWER生态。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    浪潮商用机器有限公司(IPS)总经理胡雷钧

        作为OpenPOWER铂金会员,浪潮商用机器借助POWER9对云、大数据、AI等多种应用环境的支持,在OpenPOWER领域形成了FP5280G2、FP5290G2和FP5295G2三款标准化服务器,和FP5180G2、FP5466G2两款支持企业深度定制服务器的高性能产品矩阵,并基于JDM模式,面向客户创新应用助力客户进行自主向上的定制,不仅提供了优质的基础架构,还有更广泛、便捷、定制的端到端方案规划与售前、售后服务。

        胡雷钧谈到,浪潮商用机器成立以来主要围绕三个方面开展工作:首先是以POWER为基础提供更丰富的产品组合,可以看到其中既有纵向扩展为企业关键业务打造的核心承载平台K1 Power E980、K1 Power E950,也有横向扩展满足企业数据密集型计算需求的K1 Power S914、K1 Power S922、K1 Power S924、K1 Power L922、FP5280G2、FP5290G2、FP5295G2。 同时,浪潮商用机器还会帮助POWER处理器在异构加速方面进行场景优化,例如在分布式大规模机器学习环境中,基于POWER9处理器技术的全线新品提供了面向加速器、异构计算的Cache一致的高速互联,可以实现多种领域中不同算法近10倍的性能加速。

        其次是积极与行业解决方案的ISV合作,帮助行业ISV一起为客户设计最终的落地方案。例如,浪潮、IBM、IPS会投入超过百人的技术团队协助ISV熟悉POWER平台、POWER平台的编程和优化方式,熟悉从其他平台向OpenPOWER平台进行软件移植的方法,以及库函数和调优工具,让更多的客户在POWER平台部署业务应用。

        此外就是通过OpenPOWER技术进行使能,包括借助POC和迁移、应用优化的服务,帮助ISV建立在OpenPOWER平台开发高效应用软件和解决方案的能力。“我们希望通过生态的力量让大家认识到POWER的好处,并且我们也在尽最大可能在未来继续扩大POWER的装机量。”胡雷钧说。可以看到,IPS凭借联合设计、联合开发、联合定制、共享计算平台的模式,为客户的多元化需求、AI负载等应用环境构建了一套快速设计、交付、部署的模式,而这在很大程度上也得益于生态伙伴的帮助。

    开放定义OpenPOWER的成功

        毋庸置疑的是,“开放”成就了OpenPOWER五年来的成功。在笔者看来,这种开放可以体现在三个层面:第一是文化的开放,OpenCAPI异构计算设计大赛是由IBM中国、IPS、OpenPOWER基金会成员赞助的赛事,旨在鼓励大学和科研机构了解OpenPOWER系统上FPGA异构计算的先进技术,参赛者会与OpenPOWER基金会多家会员合作,在OpenPOWER系统平台上实践开发,获得企业专家的一对一指导。今年的大赛由复旦大学微电子学院联合主办,吸引了来自17所高校的27支代表队参加,最终有10支来自全国高校的学生队伍获奖。众所周知,IBM与高校的合作由来已久,而这种促进交流、联合创新的模式也透过OpenPOWER延续到了OpenCAPI大赛中,对于传播POWER开放架构的理念而言,文化先行不可或缺。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    2018 OpenCAPI异构计算大赛

        第二是架构的开放,POWER的开放性适用于当前混合异构计算的发展趋势。例如,此前处理器和加速器之间的分离是通过PCIe通道驱动加速器,对通用处理器有着较大负担,而OpenPOWER通过OpenCAPI和NVLink的接口方案解决了这一困扰,允许GPU直接访问处理器的内存空间。对于访存密集型的GPU加速尤其是在AI应用方面,也可以在仿真神经网络足够大时获得更高的计算效率。再如开放处理器的cache一致性接口,要知道在复杂算法对加速器要求越来越高时,只靠一家厂商的技术是难以满足多样化需求的。此外,POWER还能够支持AIX、Linux、UNIX等多种操作系统。

        从小型机时代开始,POWER被不少人贴上了高高在上的标签,而随着OpenPOWER的到来,POWER一方面仍然可以用来作一些不可替代的任务,如200G HDR互联(PCIe Gen 4)和大规模AI计算(若模型超过32GB内存,POWER可让GPU直接访问CPU内存,若达到64GB内存,客户要自定义FPGA,就要用一致性访存的方式直接访问主存),另一方面也可以利用纵向扩展的能力向下触达到普通开发者,如美国的一家公司用POWER系统开发出了售价在1500-2000美元的低成本工作站。正是因为有了“Open”,POWER才能够惠及如此多的客户群。用胡雷钧的话说,(OpenPOWER)既是拥抱混合异构计算的平台,又是充分开放竞争的平台。

        第三是生态的开放,就像帮助2018年超算计算机No.1 Summit登顶的背后有Mellanox的网络技术、NVIDIA的GPU加速……OpenPOWER的生态圈中拥有谷歌、腾讯、Xilinx、Uber、Rackspace、Hitachi等一批重量级的合作伙伴,阿里达摩院也在此次高峰论坛上表示了对OpenPOWER 在AI与异构方面能力的兴趣,并且正在达摩院的AI研究中尝试合作机会。在红帽,其Linux和混合云平台也先后实现了对POWER9的支持。一个细节是,在IBM宣布收购红帽之后一周,IBM公司董事长、总裁及首席执行官罗睿兰(Ginni Rometty)就首次在公开市场购买了百万美元市值的IBM股票,足以证明最高层对开源、开放的坚定信念。Jonathan DeMent透露,2019年POWER将有更多在公有云领域的重磅发布。

        在IBM OpenPOWER中国总经理吴伟明看来,中国市场在OpenPOWER的合作伙伴生态系统中扮演着至关重要的角色,未来将在AI、大数据、云计算、软件定义存储四大领域重点拓展。此前,POWER在中国市场积累了大批ISV解决方案合作商(Solution Provider),这些合作商又会分为一级和二级,未来将与POWER VC、POWER VM等云产品结合去落地更贴近客户、面向行业的解决方案。

    迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观
    IBM OpenPOWER中国总经理吴伟明

        Jonathan DeMent表示:“我们所说的开放体现在各个层级上,比如Open host code,开放的BMC、开放的堆栈、开放的Linux、开放的框架、开放的POWER AI,每一个层级都是开放的,都是透明的。我们已经做了很多工作,未来还会继续朝着开放的方向迈进,我们要确保整个一长串堆栈上的每一个层级,从最开始的晶体管到最后一行的编程代码都是开放的。”

    结语

        再加速,掀开了IBM完成阶段性转型的新篇章,而开放的生态系统无疑将是“大象奔跑”的推进燃料。从摩尔定律到Watson定律,数据革命为各行各业的数字化转型插上了智慧的翅膀,而以AI为代表的技术变革也对现代化基础架构提出了新的考验。依托为AI设计的POWER9,OpenPOWER将把创新的技术、平台、工具赋能于中国市场的每一家行业客户和合作伙伴,帮助他们去探寻认知商业的价值所在。正如陈黎明所说:“IBM POWER已经做好准备,帮助大家在智能时代找出制胜的关键!”

    本文属于原创文章,如若转载,请注明来源:迈入加速期的OpenPOWER:开放架构背后的黑科技和生态观//cloud.zol.com.cn/706/7067656.html

    cloud.zol.com.cn true //cloud.zol.com.cn/706/7067656.html report 11436 对于一家107年历史的企业来说,转型、再加速,谈何容易,其难度不仅在于技术架构的迭代升级,更在于战略与文化的重新思考。过去一年,人们见证了科技行业的两笔重磅交易:微软75亿美元收购GitHub、IBM 340亿美元收购红帽,两家IT巨头先后掷下千金显然已酝酿多时,其背后...
    0

    下载ZOL APP
    秒看最新热品

    内容纠错