如何基于香橙派AIpro对视频/图像数据进行预处理

时间：2024-04-19 11:59:56来源：Lwgzc手游网作者：佚名我要评论用手机看

扫描二维码随身看资讯

使用手机二维码应用扫描右侧二维码，您可以
1. 在手机上细细品读~
2. 分享给您的微信好友或朋友圈~

本文分享自华为云社区《如何基于香橙派AIpro对视频/图像数据进行预处理》，作者：昇腾CANN。

受网络结构和训练方式等因素的影响，绝大多数神经网络模型对输入数据都有格式上的限制。在计算机视觉领域，这个限制大多体现在图像的尺寸、色域、归一化参数等。如果源图或视频的尺寸、格式等与网络模型的要求不一致时，我们需要对其进行数据预处理。

昇腾AI硬件内置专门用于图像预处理的硬件单元，开发者通过其上层软件栈CANN能够更加便捷地发挥出硬件强大的媒体处理硬加速能力。香橙派AIpro开发板是香橙派联合昇腾打造的高性能AI开发板，开发者可以基于此，对不满足神经网络模型输入要求的数据进行预处理，从而更好地完成AI推理计算。

昇腾CANN提供了两种专门用于数据预处理的方式：AIPP和DVPP。

AIPP（Artificial InTelligence Pre-Processing）在AI Core上完成数据预处理，主要功能包括改变图像尺寸（抠图、填充等）、色域转换（转换图像格式）、减均值/乘系数（改变图像像素）等。AIPP区分为静态AIPP和动态AIPP，您只能选择其中一种方式，不支持两种方式同时配置。

静态AIPP：模型转换时设置AIPP模式为静态，同时设置AIPP参数，模型生成后，AIPP参数值被保存在离线模型（*.om）中，每次模型推理过程采用固定的AIPP预处理参数，无法修改。
动态AIPP：模型转换时仅设置AIPP模式为动态，每次模型推理前，根据需求，在执行模型前设置动态AIPP参数值，然后在模型执行时可使用不同的AIPP参数。

DVPP（Digital Vision Pre-Processing）是昇腾AI处理器内置的图像处理单元，通过AscendCL媒体数据处理接口提供强大的媒体处理硬加速能力，主要功能包括缩放、抠图、色域转换、图片编解码、视频编解码等。

总结一下，虽然都是数据预处理，但AIPP与DVPP的功能范围不同（比如DVPP可以做图像编解码、视频编解码，AIPP可以做归一化配置），处理数据的计算单元也不同，AIPP用的AI Core计算加速单元，DVPP就是用的专门的图像处理单元。

AIPP、DVPP可以分开独立使用，也可以组合使用。组合使用场景下，一般先使用DVPP对图片/视频进行解码、抠图、缩放等基本处理，再使用AIPP进行色域转换、归一化等处理。

02 如何使用AIPP功能

下文以此为例：测试图片分辨率为250*250、图片格式为YUV420SP，模型对图片的要求为分辨率224*224、图片格式为RGB，因此需要通过AIPP实现抠图、图片格式转换2个功能。关于各种格式转换，其色域转换系数都有模板，可从ATC工具使用指南中获取，请参见“昇腾文档中心”。

1、静态AIPP

（1）构造AIPP配置文件*.cfg。

抠图，有效数据区域从左上角(0, 0)像素开始，抠图宽*高为224*224。
图片格式转换，输入图片格式为YUV420SP_U8，输出图片格式通过色域转换系数控制。

（2）使能静态AIPP参数

使用ATC工具转换模型时，可将AIPP配置文件通过insert_op_conf参数传入，将其配置参数保存在模型文件中。

参数解释如下：

--framework：原始网络模型框架类型，3表示TensorFlow框架。
--soc_version：指定模型转换时昇腾AI处理器的版本，可执行npu-smi info命令进行查询，在查询到的“Name”前增加Ascend信息，例如“Name”对应取值为xxxyy。
--model：原始网络模型文件路径，含文件名。
--insert_op_conf：AIPP预处理配置文件路径，含文件名。
--output：转换后的*.om模型文件路径，含文件名，转换成功后，模型文件名自动以.om后缀结尾。

（3）调用AscendCL接口加载模型，执行推理，具体可参见如何基于香橙派AIpro开发AI推理应用。

2、动态AIPP

（1）构造AIPP配置文件*.cfg。

（2）使能动态AIPP。

使用ATC工具转换模型时，可将AIPP配置文件通过insert_op_conf参数传入，将其配置参数保存在模型文件中。

参数解释如下：

--framework：原始网络模型框架类型，3表示TensorFlow框架。
--soc_version：指定模型转换时昇腾AI处理器的版本。
--model：原始网络模型文件路径，含文件名。
--insert_op_conf：AIPP预处理配置文件路径，含文件名。
--output：转换后的*.om模型文件路径，含文件名，转换成功后，模型文件名自动以.om后缀结尾。

（3）调用AscendCL接口加载模型，设置AIPP参数后，再执行推理，具体可参见如何基于香橙派AIpro开发AI推理应用。

调用AscendCL接口设置AIPP参数的代码示例如下：

03 如何使用DVPP功能

昇腾AI处理器内置图像处理单元DVPP，提供了强大的媒体处理硬加速能力。同时，异构计算架构CANN提供了使用图像处理硬件算力的入口：AscendCL接口，开发者可通过接口来进行图像处理，以便利用昇腾AI处理器的算力。

DVPP内的功能模块如下表所示。

功能模块	描述
VPC（Vision Preprocessing Core）	处理YUV、RGB等格式的图片，包括缩放、抠图、色域转换、直方图统计等。
JPEGD（JPEG Decoder）	JPEG压缩格式-->YUV格式的图片解码。
JPEGE（JPEG Encoder）	YUV格式-->JPEG压缩格式的图片编码。
VDEC（Video Decoder）	H264/H265格式-->YUV/RGB格式的视频码流解码。
VENC（Video Encoder）	YUV420SP格式-->H264/H265格式的视频码流编码。
PNGD（PNG decoder）	PNG格式-->RGB格式的图片解码。