热点:

    数据洪流中用AI释放价值 英特尔超异构下的软件思维

      [  中关村在线 原创  ]   作者:徐鹏

    “我们正处在数据变革的时代,人类历史上90%的数据是在过去几年产生的,50%的数据更是短短两年所生成。利用数据分析和人工智能,我们可以对海量数据进行分析、归纳、总结,提取精准并且复杂的数据关联和商业洞察,提升生产效率、扩大竞争优势,可以说数据分析和人工智能迎来了空前的发展机遇。”在O’Reilly和Intel人工智能大会2019北京站上,英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅如此描述以数据为中心时代的全新价值。

    数据洪流中用AI释放价值 英特尔超异构下的软件思维
    英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅

    万物互联的智能世界让人们对生产和生活有了新的认知,AI在数据燃料的加持下落地到更多的行业场景,客户所关注的焦点逐渐向应用实践偏移,推理端的应用效果直接决定了AI服务体验。此时,要想把数据和AI维系得更为紧密,让智能分析在云、边、端被处理的更加无缝,需要全栈式的人工智能解决方案,这也是英特尔一直致力于为客户所提供的。

    硬件层面,英特尔拥有CPU、GPU、FPGA、加速器、内存、存储、网络等从数据中心到边缘再到端,从专用到通用芯片的产品组合;软件层面,英特尔提供了一整套的优化工具,不仅有DAAL、MKL-DNN、nGraph等丰富的库组件或编译器,还在持续优化对TensorFlow、Caffe、MXNet等开发框架的支持;平台层面,英特尔通过Intel Deep Learning Studio等系统方案提升了AI开发效率;解决方案层面,英特尔上线了大量的参考架构和案例,将完整的AI方案落地到行业中,加速客户从掌握原始数据到落地部署,再到获取商业利益的进程。

    成立创新院加速AI普惠

    “如果人工智能无法真正地效力于生产实践,是没有任何价值的。”马子雅在采访中谈到,“对于客户来说,他们关心的是如何把自己的数据与AI更容易的整合到一起,甚至利用现有的基础设施或数据分析架构直接运行AI服务。”作为全栈式AI解决方案的提供者,英特尔将开源视为帮助客户将AI融入生产和生活的关键途径,毕竟这种方式更易于CSP、ISV、OEM以及企业的集成使用。与此同时,英特尔还与开源社区、教育院校、科研机构展开合作,借助像BigDL、Analytics Zoo这样的工具让用户在生产环境中可以更方便地构建深度学习应用。

    数据洪流中用AI释放价值 英特尔超异构下的软件思维
    英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅

    在O’Reilly和Intel人工智能大会上,英特尔宣布在中国成立大数据分析和人工智能创新院,主要负责人为英特尔高级首席工程师、大数据技术全球CTO戴金权,该创新院整合了英特尔多个部门的技术资源,集中了多位分析专家、人工智能专家和技术工程师,聚焦于三个方面:第一,吸引行业客户、开源社区、学术机构等国内外的伙伴加入进行更广泛的合作,拓宽英特尔的“AI朋友圈”,帮助这些伙伴在垂直行业开发、优化和扩展新的AI应用;第二,加速AI在中国市场的落地,让技术普惠给更多的行业客户;第三,帮助用户使用英特尔最新的软硬件产品组合,让中国市场第一时间了解并掌握最先进的技术创新。

    其实回顾英特尔在过去几年的发展路径,就会发现其一直在推动着人工智能的发展。就像马子雅所说的,“创新院不是突然之间成立的,早在4年前就开始了此项工作,这是水到渠成的过程。”颇具代表性的例子是,由于起初企业内部缺乏足够的专业知识和基础设施积累,在生产环境中部署深度学习耗时费力,难以对海量数据有效分析找出价值。为此,英特尔推出的分布式深度学习库BigDL和基于BigDL的大数据分析+AI平台Analytics Zoo,结合英特尔的底层硬件大幅简化了AI开发门槛,并且提供了丰富的工具库和高可用、高性能、可扩展性。 

    截至目前,采用BigDL和Analytics Zoo的合作伙伴已覆盖国内外的几乎所有CSP、宝信等多家ISV、头部OEM厂商,今年更是已经拓展了50家终端客户,而且仍在继续增长。“如果可以把英特尔的AI技术整合到他们的产品和服务中,那么在终端用户有需求时就可以直接从云服务或软硬件功能中提取,让更多的人受益。”马子雅称。通过开源的开发平台和工具,英特尔让AI在生产实践中真正实现了普惠。

    生产实践中的数据价值

    有了足够好的“生产工具”,如何让“生产资料”在行业场景发挥出最大化的价值?要知道,地球上每个人平均每秒钟会产生1.7MB数据,这些汇聚而成的海量资源背后,是仅有2%的数据量被真正分析过。“客户最大的痛点就是数据,要么没有足够的数据,要么是数据质量不够好。”英特尔亚洲人工智能销售技术总监伊红卫负责带领技术和产品团队支持数据中心客户,在服务器领域20年的工作经历使其对客户需求深有感触,“我们在去年和一家银行客户一起工作,80%的时间都花在数据的准备、清理方面。即使在大银行内部,也有不同的业务部门,部门之间的数据交流也是一个问题。”

    数据洪流中用AI释放价值 英特尔超异构下的软件思维
    英特尔亚洲人工智能销售技术总监伊红卫

    数据为王的例子还有很多,比如制造行业的智慧生产,生产制造商可以在产线上利用图像识别等深度学习技术将产品的质量检测自动化,但要想实际落地就需要一条完整的数据分析流水线。“这个流水线的20%可能是在做深度学习,但是80%都是在做数据收集、数据存储、数据管理、数据清理、数据预处理等等。这也是我们开源BigDL的重要原因。”马子雅表示。

    在美的,英特尔在服务器集群上构建了完整的数据分析和人工智能解决方案,利用Analytics Zoo将TensorFlow和BigDL整合在Spark的集群之上,可以同时进行分布式的模型训练和推理,提供完整的数据分析流水线,能够将图像预处理速度提升4倍(由原来的200毫秒到现在的50毫秒),将推理速度提升16倍(由原来的2秒到现在的124毫秒)。相较人工检测,美的的质量解决方案更精准、更快捷、更自动,有效避免了人工检测对生产流程的潜在影响。

    类似的案例还发生在CERN(欧洲核子研究组织),这家科研机构的大型强子对撞机每25纳秒就会对质子产生一次碰撞,每秒会产生1PB的数据,粒子探测器和粒子传感器会将大部分数据收集起来,对存储系统带来了很大的压力,因此CERN往往只会保留关键的小部分数据用作实验分析,数据过滤系统的准确性直接决定了实验成败。对此,英特尔与CERN合作构建了数据过滤系统,借助Analytics Zoo将100PB到1PB每秒的数据量过滤到只剩几个GB。

     “我们帮助CERN搭建了端到端的流水线,像数据清洗包括特征提取和特征生成的过程非常繁琐。”戴金权透露,下一个版本的Analytics Zoo会加入类似AutoML的功能,对于时间序列预测、异常检测这样的应用做到自动化的生成和特征提取,让用户在复杂的工作流水线上轻装上阵。

    数据洪流中用AI释放价值 英特尔超异构下的软件思维
    英特尔高级首席工程师、大数据技术全球CTO戴金权

    软硬协同让AI迈向更高阶

    如果说过去英特尔给人的印象还是一家半导体厂商,那么“AI算力提供商”应该算是英特尔在以数据为中心时代的重要标签之一,这点在英特尔的产品创新和收购策略上都有着显著体现。过去三年,英特尔围绕AI在不同领域的技术应用展开了一系列收购,以Mobileye、Movidius、Nervana为代表,拓展了在边缘计算、深度学习、深度神经网络等方面的产品组合,加速器、FPGA、通用处理器集成了越来越多的AI元素。

    在Cascade Lake中,英特尔通过VNNI指令集的加入将第二代至强可扩展处理器的推理性能提升了数倍。再如对于开发者关心的框架层面,英特尔针对TensorFlow、Caffe、PyTorch、Paddle Paddle等几乎所有的主流DL框架都进行了优化支持,开发者只需在英特尔的底层硬件上直接调用指令就能获得最佳体验。PaddlePaddle v1.3是首个在第二代至强可扩展处理器上使用DL Boost支持INT8推理的深度学习框架,在硬件加速后的低精度推理可以增加每秒计算的运算数,降低对内存访问的要求,提高缓存利用率,增大吞吐量和降低延迟。

    AI服务器是x86市场的新生力量,也是各大OEM厂商的新战场,他们之中的绝大多数都选择了与英特尔合作。在ISC 2019期间,浪潮发布了AI HPC融合一体机,可以在4U空间支持16颗英特尔最新的Cascade Lake处理器和Omni-Path网络,集成了Intel AVX-512高级矢量扩展和深度学习增强指令集,DL Boost的加入使其AI性能比上一代至强处理器提升14倍。而第四范式与英特尔联合推出的基于第二代至强可扩展处理器的AI软硬一体技术,同样是结合了AVX-512 VNNI指令集和CLX AP微架构IO总线等特性,在超大规模机器学习训练场景中可使系统平台每单位价格性能提升50%以上。

    英特尔人工智能产品事业部副总裁兼人工智能产品和市场研究总经理Julie Shin Choi(辛周妍)表示:“我们致力于为客户带来领先的人工智能硬件和软件产品,帮助他们搭建需要的人工智能应用。这些领先的软硬件产品组合能够帮助客户解决所面临的个性化问题。除了技术本身,英特尔还致力于通过与广泛的行业合作伙伴打造AI生态(开源社区、学术机构等),一起面向我们共同服务的客户,开发出全套的AI解决方案。”

    数据洪流中用AI释放价值 英特尔超异构下的软件思维
    英特尔人工智能产品事业部副总裁兼人工智能产品和市场研究总经理Julie Shin Choi(辛周妍)

    在辛周妍看来,英特尔AI布局的独特之处在于,拥有覆盖从数据中心到边缘的广泛解决方案,针对不同需求的工作负载均有相对应的产品和技术。更重要的是,除了全线的底层硬件组合,还有与之高度匹配的软件支持,这些因素使得英特尔能够建立一个非常完整的人工智能基础架构。

    超异构时代展现软实力

    超异构,是英特尔为了应对AI复杂场景、多任务并行、多架构组合所提出的新思路,其希望提供多样化的标量、矢量、矩阵和空间架构组合,以先进制程技术进行设计,由颠覆性内存层次结构提供支持,通过先进封装集成到系统中,使用光速互连进行超大规模部署,提供统一的软件开发接口以及安全功能,从而实现超异构计算的技术愿景。

    可以看到,简化软件开发是实现超异构的关键一环,即“以一个统一的软件接口,让客户编程即可扩展到CPU、GPU、FPGA和AI芯片等硬件平台”。预计在今年第四季度前交付给开发者的One API就扮演着这样的角色,该项目包括一个全面、统一的开发工具组合,可以将软件匹配到能最大程度加速软件代码的硬件上,这个“硬件”就可以是英特尔超异构的架构,开发者不用再对应用进行修改,也不用担心底层是什么硬件或者何种类型的API。

    “如果说今天还能听到AI是运行在CPU上更好还是GPU上更好的争议,那么在One API上线之后,就可以完全根据工作负载的需求来决定。”马子雅进一步指出,英特尔的软件架构部门的工作不止涉及API,还包括运行测试、逻辑分析和AI工具,软件策略是自下而上垂直覆盖的,“(面向)AI只是一方面,AI最终要运行在一定的框架和架构上,既可以运行在加速器的架构上,也可以运行在某一个Linux上,而英特尔可以通过将One API和Vertical Stack(全栈软件技术)进行整合,为用户提供更高性能、更易使用的体验,这就是它的价值所在。”

    “在硬件上每得到一个指数级的性能提升,加上软件就可能带来两个指数级的提升”,这句话足以说明英特尔对于软件的态度,这种理念在半导体行业发展到今天也显得弥足珍贵。Vertical Stack(全栈软件技术)有多重要?以在Spark上做模拟学习训练的算法为例,如果没有整合软件优化去打通硬件架构,那么性能提升可能也就是70%左右,而打通之后就可以获得至多8倍的性能提升。英特尔正在通过对每一层软件的优化,尽可能的把硬件中的每一丝性能都挤出来。

    辛周妍认为,软件就好像是一条路径,指引着人们触及最优化的业务实践,“为了实现软件的优化,英特尔拥有15000名工程师在做这方面的工作。他们的工作成效就是要确保英特尔拿出的每一款硬件产品,都能够获得最好的AI效果。软件是英特尔的一项重要战略资产,英特尔将通过软件业务来充分释放公司的整体增长潜力,并借助在整个开源生态系统中的协作,推动面向以数据为中心时代的产品和服务创新。”

    Intel Xeon Gold 5120

    Intel Xeon Gold 5120

    [经销商] 京东商城

    [产品售价] 12488元


    本文属于原创文章,如若转载,请注明来源:数据洪流中用AI释放价值 英特尔超异构下的软件思维http://cloud.zol.com.cn/720/7202396.html

    cloud.zol.com.cn true http://cloud.zol.com.cn/720/7202396.html report 9287 “我们正处在数据变革的时代,人类历史上90%的数据是在过去几年产生的,50%的数据更是短短两年所生成。利用数据分析和人工智能,我们可以对海量数据进行分析、归纳、总结,提取精准并且复杂的数据关联和商业洞察,提升生产效率、扩大竞争优势,可以说数据分析和人工智能...
    • 猜你喜欢
    • 最新
    • 相关
    推荐经销商
    投诉欺诈商家: 010-83417888-9185
    • 北京
    • 上海
    周关注排行榜
    • 产品
    • 品牌
    推荐问答
    提问
    0

    下载ZOL APP
    秒看最新热品