15分钟实现AI端计算模型训练、加速与部署 | 百度EasyDL公开课

主讲人 | 阿达 百度高级研发工程师
量子位 整理编辑 | 公众号 QbitAI

端计算模型目前已应用到各行业的AI落地实践中,如部署在野外气象观测点用于环境监测,以及响应垃圾分类政策用来打造智能垃圾桶等等。

「EasyDL AI开发系列公开课」第二期直播中,百度高级工程师深入解析了如何优化端模型识别速度、如何解决端模型部署问题,并直播演示了如何使用EasyDL-EasyEdge AI开发平台,快速、高效实现模型训练和端模型部署。

讲解分为3个部分:

  • EasyDL端计算模型的应用
  • 端计算技术解析:图优化(量化剪裁)和基于芯片的优化提升模型识别速度
  • 实战演示:借助EasyDL-EasyEdge部署端计算模型实现办公室垃圾检测识别

直播回放见链接:「链接」

以下为直播文字实录:


EasyDL端计算模型的应用

在和某咨询公司的联合调研中,我们发现约86%的市场需求需要定制开发业务场景下的AI模型,其中有35%以上的有离线计算的需求。

端计算应用场景

比如工业场景中统计原材料的数量,食品安全场景监测厨房厨师是否佩戴厨师帽,这么多形形色色的场景,很难通过一个统一的AI模型或者方案来满足所有的需求。这时用户往往需要自己来开发定制,这是一个很巨大的工程,涉及到采集数据、训练优化模型,最后还要使模型成功地部署落地。

为此,百度提供了零门槛AI开发平台—EasyDL,帮助有模型定制需求的用户。用户可以在平台上标注数据、扩充数据,准备好训练所需要的数据集;然后通过EasyDL训练优化模型;最后通过EasyDL提供的多种部署方案,实现模型落地应用。

那么,为什么需要应用端计算模型呢?

定制化AI模型部署的需求与难点

工业应用中的模型推理通常需要本地计算、实时响应、解除对网络的依赖;需要满足对闭路电视数据隐私的保密,需要降低手机上APP对能耗的要求,复杂业务场景下又需要多样的芯片架构和传感器来实现部署……种种需求恰好都可以通过端计算来满足,这就是为什么大家需要端计算。

有过自己部署AI模型经历的也会发现很多部署模型的难点:

  • 部署维护成本高,难落地;
  • 模型适配、迁移难,往往需要重复性开发;
  • 预测性能差,硬件成本高。

EasyDL-EasyEdge端计算

针对这些难点,EasyDL-EasyEdge提供了端计算服务来帮助大家解决这些问题,用户不需要有特别多的芯片硬件知识和开发经验,只需要3步、最快2分钟就可以生成端计算模型:

第一步:准备一个训练好的模型(如果没有合适的模型,可先在EasyDL平台训练);EasyEdge兼容市面主流的深度学习框架,比如PaddlePaddle、TensorFlow、PyTorch等;

第二步:通过EasyEdge做转换→面向设备的兼容与加速→封装;EasyEdge自动完成端计算服务产物;

第三步:下载后利用简单可操作的接口部署应用模型即可。

框架&网络支持

如图,EasyEdge支持主流的深度学习框架、部分网络,后续大家可以在EasyDL官网上了解更多信息。

服务部署形态

EasyDL-EasyEdge也提供丰富的服务部署形态,包含公有云部署、私有服务器部署、通用设备端SDK、软硬一体产品等,端云协同即将上线:

软硬件支持

EasyDL-EasyEdge已支持10余类芯片、4大操作系统:

端计算组件

端设备SDK不仅能适配市面上常见的手机(APP扫码安装、即装即用),也能适配各类微型主机开发板(PC组件自带HTTP服务和H5体验,可执行exe文件)。

SDK接口是统一的,在不同设备的调用方式方法类似。通过EasyEdge获得端设备SDK之后,无需再关注硬件细节,使用SDK统一接口来调用模型即可。

上图是ResNet50深度学习模型部署在不同的芯片上得到的单次推理时间,芯片架构层面可以做更广泛的适配,同时也为用户选型提供参考。

软硬一体方案

为了让大家选型更简单,百度也推出了软硬一体的方案,可以在百度AI市场购买。

上图数据是EasyDL支持的分类检测模型以及在不同开发套件上单张图片的推理时间,大家可以根据这些数据挑选合适的软硬件。

EasyDL-EasyEdge应用案例

杭州气象局:使用EasyDL图像分类和物体检测,训练出云状、云量、结冰等识别模型,并通过EasyEdge将模型部署到野外观察站,提升了观测效率和及时性。

柳州源创使用EasyDL物体检测,训练出喷油嘴瑕疵检测模型;并通过EasyEdge部署到工厂的生产线上,每年可节约60万人工检测成本,并能够提升检测效率与精度。

宁波蔚澜通过EasyDL使用了仅217张厨余垃圾图片、迭代了两版,就训练出准确率91.57%的厨余垃圾识别模型,结合百度EasyEdge软硬一体方案灵巧部署在垃圾箱内,已经在宁波的小区内落地使用。

EasyDL-EasyEdge已经在20多个行业场景中落地,累计有2500以上个模型,部署了超过26万台终端设备。

EasyDL-EasyEdge端计算技术解析

为了使模型顺利部署到端上,还可以保持预测性能的快速推理,百度EasyDL-EasyEdge做了哪些优化?

技术核心

△ EasyDL-EasyEdge技术框架

拿到用户的模型后,首先进行图优化,针对深度学习模型的算子进行优化,以及面向目标硬件做定向适配,然后转化为目标框架。

对于目前支持量化的目标框架(比如PaddlePaddle),采用了量化来产出加速版本。

目前EasyEdge支持10余类芯片,不同的芯片还会有一些特定支持的优化

接下来把上述优化好的模型,进行打包生成SDK。

对于生成的端模型,还可以发起自动评测,获得评测指标和性能。

EasyEdge给用户提供了云端服务, 用户在得到的sdk里可以进行模型升级更新,运行demo。用户还可以有h5体验,在windows系统里有可执行文件可以直接运行等。

实操演示:办公室垃圾检测识别

本部分讲解中,阿达老师以「办公室垃圾分类检测识别」为例,演示了如何使用EasyDL-EasyEdge AI开发平台,快速、高效地进行模型训练和端模型部署。

感兴趣的小伙伴可以参考直播回放,视频观看更清晰~:https://www.bilibili.com/video/BV1KZ4y1V7mn/

此外,关于EasyDL-EasyEdge使用指南,可参考官网相关介绍。

直播预告

近几年以预训练为代表的NLP技术取得了爆发式发展,新技术新模型层出不穷。

11月4日第三期「百度AI实战营」公开课中,百度资深研发工程师将结合世界领先的文心(ERNIE)语义理解技术,通过产业实践案例,深入解析NLP技术选型模型调优的一些方法,以及工程实践中的经验。

报名方式如下,还为大家精心准备了图书、京东卡等小礼物哦~

—完—

版权所有,未经授权不得以任何形式转载及使用,违者必究。