英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

主讲人 | 何琨 英伟达
量子位编辑 | 公众号 QbitAI

2月27日,英伟达图像处理系列公开课第一期线上开播,跟数百位开发者同学共同探讨了如何利用 NVIDIA 迁移式学习工具包和Deepstream实现实时目标检测。

应读者要求,将分享内容整理成文,与大家分享,文末附有实战notebook。

大家好,今天要给大家介绍的工具是NVIDIA Transfer Learning Toolkit(迁移式学习工具包,简称TLT)和DeepStream SDK。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

这张图很好的诠释了深度学习的框架,从应用角度来说,视觉、语音识别、NLP、情感与推荐系统等是目前发展较快的领域。市面上有很多框架支持这些深度学习的应用,如Caffe、TensorFlow、PyTorch等,而支撑起这些框架的基础是强大的计算能力。

NVIDIA提供了大量的GPU、边缘设备等,为深度学习框架、推理训练提供了强大的支撑能力。在英伟达CUDA生态系统上,建立了cuDNN、TensorRT、DeepStream SDK、cuBLAS等一系列工具,都是中层的框架应用的基础的内容。

今天要介绍的迁移式学习工具包,串联起了下面一层的工具(最后一个除外),是一个非常好用的工具。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

今天的分享主要介绍TLT,以及将训练出的模型放到DeepStream SDK上。

DeepStream SDK

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

DeepStream SDK是为大规模创建和部署基于AI的视频分析应用程序解决方案而设计的,涵盖了视频处理部署阶段的所有模块,它提供了完整的框架和所有基本构建模块。可以让开发者专注于自己的核心深度学习网络和IP,而不是从头开始设计端到端解决方案。

最新的DeepStream 已经成为一个通用的工具,支持多平台、跨平台的应用,支持多系列显卡,也可以放到嵌入式平台,对内存的管理方面节约了计算资源,减少接口使用,编解码加速等方面也有所提升。

下面展示一个例子,以下两个视频都是基于Yolo v3网络,我们将Batch Sizing都设为1。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

上图是未优化的,结果是大概1帧每秒的推理速度,而下图是仅用DeepStream优化过,已经达到了4.5帧每秒,也就是说达到了4倍的优化效果。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

DeepStream推理加速的核心是TensorRT,一个GPU推理引擎工具,我们制作了很多讲解的视频和官方案例,大家可以在优酷搜索“英伟达中国”查看。

迁移式学习工具包

另一个工具是英伟达Transfer Learning Tooklkit。TLT是一个基于Python的工具包,它提供了大量预先训练的模型,并提供一系列的工具,使流行的网络架构适应开发者自己的数据,并且能够训练、调整、修剪和导出模型,以进行部署,大大提高深度学习工作流的效率。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

TLT还有一个功能是,在异构多GPU环境下模型训练或调整效果非常好,并且训练处的模型可以直接部署到Tesla、Jetson等产品上。

目标检测实战

接下来我们一步一步介绍从安装到出模型到推理的使用方式。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

这里列举了30多种常用模型,大家可以在代码中找到。为应用在计算机视觉领域的深度学习工作流程,提供了全方位的便利。

首先我们需要在NGC(https://www.nvidia.cn/gpu-cloud/)下载工具和模型,并进行初步训练、剪枝、再训练。输出的模型直接放在TensorRT。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

接下来在服务器上部署TLT,我们推荐了一些硬件。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

其中,Ubuntu使用16.04LTS以上即可,GPU driver需要v410及以上版本,DeepStream推荐使用4.0以上版本。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

首先需要安装docker,生成API Key,这个Key很重要,生成后一定要保存起来。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

接下来在服务器上运行TLT镜像。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

标红处需要用v1.0.1_py2。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

进入操作界面后,我们需要在Server端训练模型、优化、评估、数据预处理、模型转换等流程,在Jetson端部署利用引擎。

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署

* 接下来详解了代码的部署。受限于文字描述,我们将操作流程Notebook上传至网盘,同时可下载直播回放、PPT等资料,正在学习的小伙伴可以直接下载查看:

提取链接:https://pan.baidu.com/s/1o_5yA8DYGTk3rz5i2oJmeQ

提取码:nveu

接下来的课程,我们也将分享更多能实际运行的代码。也欢迎访问英伟达开发者社区,获取更多资源。

系列课程报名

英伟达的专家老师将在3月12号、26号带来两场图像处理系列分享,欢迎大家报名参与~

报名方式:添加小助手(vvx:qbitbot12),记得备注“英伟达”哦~

英伟达公开课|详解迁移式学习下的实时目标检测模型训练与部署
版权所有,未经授权不得以任何形式转载及使用,违者必究。