
“我们与深圳市政府合作,通过比赛的形式,激发出一些利于国计民生的好思路,在拓展培育AI开发者生态的同时,用大数据与人工智能技术助力城市各个领域建设,让城市更美好。”华为云EI服务产品部总经理贾永利所说的,就是“华为云杯”2019 深圳开放数据应用创新大赛,此次以”数聚粤港澳,智汇大湾区"为主题,面向内地和中国港澳地区高等院校、专业研究机构、数据分析公司、开发者等专业对象举办的大型数据创新类竞赛。
“华为云杯”2019 深圳开放数据应用创新大赛启动仪式
深圳市政服务数据管理局局长刘佳晨介绍,大赛的英文名首字母简称是SODiC,其中文意思是“含钠的”。钠是一个活跃元素,只要丢少许到水中,就会产生巨大反应并释放出惊人的能量。主办方希望此次赛事就如同钠元素一般,将其投入宽广的数据海洋中后,能全面激发数据活动,让数据迸发出更大的动能,让参赛者在数据海洋中激情冲浪,为深圳未来的大数据发展提供无限的想象。
对于华为云来说,参与各种各样的竞赛并不少见:数字中国大赛、与香港人工智能与机器人学会举办的比赛等等…通过与中国开发者、高校师生的交流,华为云从中发现了很多好的想法和思路,大赛也由此成为了一个甄选AI人才、拓展AI生态的有效途径。
此次大赛设置启动报名、初赛、大数据与人工智能训练营、开放数据沙龙、开放数据圆桌会议、决赛和颁奖仪式等环节,为期2个半月。参赛对象为内地和中国港澳地区的企业、团体、开发者和学生,参赛者可利用深圳市政府数据开放平台以及大赛官网提供的开放数据,解决城市发展过程中遇到的问题。具体赛题和奖项方面设置方面,分为数据创意赛、数据分析赛、数据治理赛、坪山民生诉求分析赛、坪山视频分析赛5大赛道。
从大赛的关键词可以看出,“数据”绝对是此次大赛的关键词。《连线》杂志创始主编Kevin Kelly曾说,大数据时代,没有人能够成为旁观者,而数据也将“横扫一切”。要知道,全球90%的数据都是在过去两年里产生的,到2025年全球数据量将剧增至现在的10倍,达到163ZB。然而据可靠推测,这些数据中真正得到利用、处理并且采取相应行动的数据占比仅约1%。对于企业来说,他们显然希望让数据投入获得更高的利益回报,但实际并非如此。
以工业生产中的数据上云为例,工业互联网时代产生的数据量比传统的信息化要多数千倍甚至数万倍,并且是实时采集、高频度、高密度的,动态数据模型随时可变,这么大规模且复杂的数据上传到公有云,能够给出恰当处理办法和合理价格的云服务商并不多。尤其是大型的制造类企业,光是数仓的KPI可能就有数百个,需要对这些信息纵向挖掘,追踪生产、研发、制造、工艺、流程等层面的数据源头并对其进行分析。如果没有智能化的手段,难以获得有价值的效果。反过来,要是数据“价值”不高,以此为模型训练的AI服务同样会表现一般。
贾永利认为,各行各业都有着足够多的数据,但如何让指数级增长的数据量与效益呈现正向增长,是企业需要思考的问题,“(大规模的)数据量不仅是获取困难,还有隐私的问题,并且带来了大量的消耗成本,数据量大,训练一次是需要的时间也会很久,成本是非常高的。”
为了帮助此次大赛拿到高质量的数据,深圳市政府数据开放平台开放了民生实事、道路交通、城市建设、公共安全、经济发展等14个领域1095项1亿4千多万条数据。这些政府所掌握的数据在经过脱敏后对实际民生有着非常强的关联性,这也使得大赛具有着很高的实践意义。竞赛过程中,参赛者在初赛时会使用现有的数据进行训练,到决赛时则要自行寻找数据资源,比拼的更多是算法设计和数据获取能力。
“这些数据集的质量真的是非常好,我们投入了大量的时间跟市里一起去清洗、准备、论证,而且很多数据是相关性比较强的,比如我们有公交的数据,停车场、交通的数据,这些之间是有相关性的,如果你做一个很好的方案的话,其实可以找到其中碰撞的价值出来,还有地铁、轨道数据,这些数据对人出行的预测,对于效能的改善其实都是有很多创新方案的。”贾永利说。
作为此次大赛AI开发的重要承载平台,ModelArts在推进华为云普惠AI的道路上再次扮演了关键角色。ModelArts是面向AI开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,及端-边-云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期AI工作流。简而言之,ModelArts可以让开发者专注于开发本身,而不用将精力放在数据搜集、标注、处理等份外的事情上。
MoXing是华为云深度学习服务提供的网络模型开发API,对调参、自动分布计算、参数传递等方面对运行速度有着大幅优化。相对于TensorFlow和MXNet等原生API,MoXing API让模型的代码编写更加简单,允许用户只需要关心数据输入和模型构建的代码,即可实现任意模型在多GPU和分布式下的高性能运行。由于MoXing-TensorFlow支持原生的TensorFlow、Keras、slim等API,用户只需要在原框架下开发,加入模型函数即可将应用跑起来,代码改动量非常少。
正是由于集成了更多像MoXing这样的秘密武器,ModelArts能够让开发者无论在什么框架下进行开发,无论是系统单机还是多卡环境,都可以让业务运行的快速高效。贾永利以TensorFlow为例谈到,尽管当前其是主流的AI开发框架,但在前后端并没有提供丰富的工具集成,而实际开发过程中需要不断的迭代测试,要在大规模数据量的情况下完成快速开发上线,传统的办法耗时耗力。
“这次比赛开放的数据集都是很大的,如果你用一个单机的跑,可能一下跑十几、二十个小时,那一个月都做不了几次,再加上开发的过程,这些都需要时间。借助ModelArts,只要有想法按一下就出结果的话,理论上是最快的,一天就能做几次。”贾永利说。
有了ModelArts,华为不仅聚拢了初级AI开发者,还吸引了越来越多重度人群的关注,而结合此类大赛的意义更在于,与行业实践的交汇一方面促进了平台算法设计和工具应用方式的创新,另一方面也结识了更多志同道合的伙伴。至于通过大赛最终能够获得什么,华为并不是急于求成的。
贾永利表示:“这个过程不能太急,在这个过程中我们接触了很多合作伙伴、很多朋友,这是最重要的,能发现很多好的苗子,可以知道不同喜好的人针对性在哪,哪里做的不够好能够发现赶快改进,发现哪些开发者是重度开发者,未来要重点拓展,甚至跟他深度合作,这些价值就是我们的最大收益。”
以云交付的形式推动AI能力普惠,ModelArts下一步仍将继续完善在各个行业的通用化能力,让算法优化更多的与生产生活中的数据实践相结合,寻找各领域的共性进行沉淀。此外,也会与行业伙伴、科研院校等机构合作,进一步壮大开发者生态。例如,除了借助第三方开发者平台,华为云还会把自己的社区经营起来,围绕着这个主阵地举办大量的赛事、技术分享会、训练营等活动,坚持对开发者生态的长期投入与运营。
“最主要的还是生态拓展与培育,赋能培养更多的开发者,助力提升全行业的人工智能技术能力,加速AI落地行业的进程,从而最终实现普惠AI。”贾永利谈到,“这与华为公司的总体愿景也是一脉相承的:把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。”
- 调查区域:企业小调查(点击预览可查看效果)
本文属于原创文章,如若转载,请注明来源:SODiC激发数据潜能 华为云惠普AI背后的生态加速//cloud.zol.com.cn/720/7206978.html