当前位置:频道 > 正文

2020年就要来了,你的全场景AI开发计划制定好了吗?

2019-12-30 10:07:53  来源:新众网

随着世界向智能化、数字化转型,AI+云将成为构建未来智联世界的核心,在AIoT领域出现了更多应用场景的落地。在应用开发方面,开发者在对跨场景一致开发和调试上,往往需要经过多次应用开发和部署,才能确保应用在端、边、云上的全场景适配,进一步增加了AI开发门槛。同时,这些应用也带来了低延时和巨量数据的计算要求,这对芯片性能和算力部署提出了新的挑战。

为了帮助开发者降低开发难度和运营成本,同时承载端、边、云全场景AI计算需求,华为发布了全栈全场景AI解决方案。12月28日「Atlas Tech Now | 昇腾学院——华为昇腾 AI 技术沙龙」苏州站,邀请了多位华为AI技术专家,通过基于昇腾 AI 处理器的 Atlas 人工智能计算平台、Mind Studio 一站式集成开发环境与 MindSpore 全场景 AI 计算框架的实践案例,助力开发者从容应对全场景 AI 开发带来的挑战。

如何基于Atlas进行推理业务开发?

在华为提出的全栈全场景AI解决方案中,全栈指的是技术功能视角,包含了昇腾AI处理器、CANN芯片使能、MindSpore AI框架、应用使能四个层次。昇腾AI处理器拥有Max,Mini,Lite,Tiny和Nano等五个系列,通过在不同场景下的合理应用,来提供最优的性价比服务。

Atlas人工智能计算平台,基于昇腾AI处理器,通过模块、板卡、小站、服务器、集群等丰富的产品形态,打造面向端、边、云的全场景 AI 基础设施方案。目前这些产品,已广泛应用于平安城市、智慧交通、智慧医疗、AI训练和推理等领域。

图片1.png

华为全栈全场景AI解决方案

以Atlas 300业务开发为例,分为开发前准备、业务迁移、集成调优、测试验收4个阶段。

· 开发前准备:对OS类型及版本是否兼容,框架、模型、算子的支持度,视频/图像编解码功能,进行需求评估。然后进行环境搭建,安装Atlas 300固件和驱动和Mind Studio集成开发环境。

· 业务迁移:基于Matrix框架将待处理数据从Host侧发送到Device(昇腾310芯片)在Device完成所有处理,通过DVPP子系统实现crop/resize。

· 集成调优:对系统总体性能调优,包括模型选型、算子性能优化,软件流程调优等。

· 测试验收:最后进行功能测试、可靠性测试、性能测试,确定不同硬件配置下的性能规格。

Matrix是一个通用业务流程执行引擎,主要包含Agent(运行在Host侧)和Manger(运行在Device侧)两个部分。Engine 作为流程的基本功能单元,允许用户自定义,实现数据输入、图片视频分类处理、结果输出等,即engine的处理程序是由开发者实现的。对于服务器+Atlas 300来说,Host侧为服务器侧CPU的操作系统,Device侧为Atlas 300侧的操作系统。

DVPP子系统,数字视觉预处理(Digital Vision Pre-Process),提供对特定格式的视频和图像进行解码、缩放等预处理操作,同时具有对处理后的视频、图像进行编码再输出的能力。

图片2.png

华为智能计算专家 徐国强

应用Mind Studio,降低AI开发门槛

Mind Studio是面向昇腾AI处理器的AI全栈开发工具链,提供面向AI算子开发、模型开发、应用开发的全栈全场景支持。可以让用户的算子、模型和应用最大限度的发挥出芯片的计算能力,通过场景化的工具体验,降低算子、模型、AI应用的开发门槛。

· 算子开发:支持TBE自定义算子的开发,集成开发环境IDE的代码编辑器,支持语法的智能纠错和代码自动补全。 并支持算子的仿真调试,如果开发者有开发板的硬件设备,可以直接通过Mind Studio工具进行配置,上板运行。

· 模型开发:支持当前业界主流框架Tensorflow,caffe等,通过转换工具将模型转换成昇腾AI处理器支持的格式,发挥出芯片的加速能力。通过配置输入输出节点,图像预处理的参数,可以生成用户所需要的模型。模型的整网运行profiling功能,可以帮助用户快速定位出模型的性能瓶颈并定位优化。

· IDE提供的应用开发:为用户提供了多个典型AI应用的模板,用户基于模块做一些定制化的配置,就可以构建出属于自己的AI应用。

图片3.png

AI全栈开发典型场景

其中模型转换是当前很多开发者最常用的功能之一。通过转换工具,可以把开源的tensorflow、caffe模型转换成昇腾AI处理器支持的格式om格式。转换过程中,用户可以配置模型中的输入和输入节点, 量化参数,图像预处理的参数,生成满足用户输入要求的更高效om模型。

图片4.png

向导式模型转换,快速导入TF,Caffe模型

算子比对工具可以对已经生成的模型或基准的模型(如caffe模型)进行算子的比对,比对的方式可以选择不同的算法,如LowerBound等。通过算子比对的结果,可以发现模型中各个算子计算结果的偏差,通过对偏差的大小设置,开发者可以快速定位出偏差较大的算子并进行优化。

图片5.png

支持多种算子对比方式,快速定位算子进度差异

在模型整网调优中,对应用中的各个引擎,如数据预处理、模型推理等进行profiling,发现整个应用中的引擎性能瓶颈再进行优化。整网运行过程中除了获取到软件栈的Timeline数据,还能获取AI芯片设备上的硬件数据。

图片6.png

华为昇腾AI工程师 田晓亮

解读MindSpore三大技术创新点

MindSpore是华为推出的统一训练和推理框架,可以在全场景保持一致的开发体验。目前市面上的计算框架存在着开发门槛高、运行成本高、部署难度大等亟待解决的问题。对于这种问题,MindSpore的工程师进行了三项技术创新:新编程范式,执行模式及协作方式。

· 新编程范式:编程范式的决定性因素之一,就是AI框架采用的自动微分技术。其中,MindSpore采用源码转换的机制生成抽象语法树,基于IR编译优化,在易用性和性能上都具有很强的先进性。

· 执行模式:基于AI运行态的挑战,提出on-device的执行模式。

· 协作方式:端、边、云三类应用场景具有不同需求与目标,通过统一的框架来实现按需协同。

图片7.png

MindSpore设计理念:核心架构

基于开发态友好、运行态高效、部署态灵活的三个设计理念。MindSpore核心架构分为四层:端-边-云按需协作分布式架构(部署、调度、通讯等)在同一层,再往下是执行高效层。另外是并行的Pipeline执行层和深度图的优化、算子的融合,再上层有MindSpore IR计算图表达。支持了自动微分、自动并行、自动调优的特性,为全场景统一API提供支撑:开发算法即代码、运行高效、部署态灵活形成一体化。

新编程范式,采用源码转换的机制生成抽象语法树,首先在接口层支持原生的python编程和控制流的表达,增强可编程性。在中间编译层复用编译器优化能力进行代码优化,实现更高性能。在算子层利用高效能优化器、多面体优化器以及软硬协同优化,就可以自动化生成高性能算子。

新执行模式上,MindSpore使用了四项关键技术。第一项是通过深度图优化技术,最大化“数据-计算-通信”的并行度。第二项是通过梯度数据驱动的自适应图切分优化,实现去中心化的自主All Reduce。第三项是自动整图切分,按算子输入输出数据维度切分整图,融合数据并行与模型并行。第四项是集群拓扑感知调度,感知集群拓扑,自动调度子图执行,实现通信开销最小。

图片8.png

华为MindSpore工程师 龚玥

昇腾AI计算解决方案及应用

据某机构的预测,中国视觉计算行业2020年市场规模超过700亿。届时,安防影像、广告营销、泛金融身份认证、互联网娱乐等领域将会产生大规模AI批量计算需求。华为AI技术专家,也向开发者们展示了,昇腾AI计算在视觉计算行业的应用。目前,昇腾AI计算解决方案技术栈分为Ascend Serving服务框架、Ascend Graph开发框架、Ascend 算子开发三个层次。通过解决方案的整合,可以让开发者充分利用华为云昇腾算力的高性能,高弹性和端边云全网融合能力。

图片9.png

华为云异构计算产品经理 赵刚

· Ascend Serving服务框架:昇腾服务组件标准化,支持对接OBS,SFS-Turbo,支持容器化部署,边缘部署。

· Ascend Graph开发框架:成熟的昇腾组件、业务流程社区和市场,让开发者可以基于昇腾算力快速构建应用,加速业务模型部署,提供行业内最佳实践。

· Ascend 算子开发:支持客户自行开发调优,全栈自研,全流程开放。

图片10.png

昇腾AI计算解决方案在视觉相关计算行业的应用

推荐阅读

俄两型高超音速导弹速度至10马赫以上 10倍于音速

俄罗斯国防部副部长阿列克谢·克里沃鲁奇科12月28日说,军工专家拟提高俄方两种型号高超音速导弹的速度至10马赫以上,即10倍于音速。克里沃 【详细】

腾讯回应孙忠怀退出法人代表:与人事变动无关

12月26日,据企查查信息显示,近日,深圳市腾讯视频文化传播有限公司发生工商变更,腾讯公司副总裁兼企鹅影视CEO孙忠怀退出法定代表人和总 【详细】

光速中国韩彦:互联网寒冬是强者试金石

近期,由中国企业联合会指导,亿欧•EqualOcean、工业和信息化科技成果转化联盟联合主办的WIM2019世界创新者年会在北京召开,大会主题 【详细】

新材料十二五规划 30个重点新材料品种受到推广

2月22日收盘后,《新材料产业十二五发展规划》正式发布,根据规划,十二五时期,我国新材料产业预计总产值达2万亿元,年均增长率超过25%, 【详细】

来了!iOS 13 Safari支持黑暗模式浏览微信公众号文章

此前微信安卓版7 0 10内测版为我们带来了对黑暗模式的支持,不过目前微信iOS版还未更新,但我们对于黑暗模式的渴望已经从系统延伸到App。苹 【详细】



科技新闻网版权