【cann文档速递16期】揭秘应用开发之媒体数据处理-星辰平台

昇腾cann 发表于 2022/09/20 19:53:52 2022/09/20
【摘要】 揭秘应用开发之媒体数据处理

01 媒体数据处理是什么

ascendcl提供了媒体数据处理的接口,用于处理图片、视频等数据,主要功能如下表所示。

ascendcl提供了v1、v2两个版本的媒体数据处理接口,从时间顺序上看,v2版本是新一代的媒体数据处理接口,已在新一代的昇腾ai处理器昇腾710 上适配,且其功能比v1版本更多,例如:
• jpege:v2版本接口支持高级的参数配置,如huffman表配置。
• venc:v2版本接口支持更加细化的码控参数配置和效果调优,如i/p帧qp、宏块码控等。
• vdec:v2版本接口支持更细化的内存控制,如设置输入码流缓存。

02 什么场景需要媒体数据处理


如果源图或视频的分辨率、格式等与模型的要求不一致时,我们可以通过ascendcl提供的媒体数据处理接口,将源图或视频处理成符合模型的要求。如下为典型场景的举例。

▶ 媒体数据处理(视频解码、缩放)

使用yolov3模型实现目标检测的场景下,用户提供的输入视频为h264/h265编码格式、分辨率为1920*1080,但yolov3模型要求的输入图片格式为rgb/yuv、分辨率为416*416,两者不一致,此时可以使用媒体数据处理接口执行以下一系列处理。
▶ 媒体数据处理(图片解码、缩放)

使用resnet50模型实现图片分类的场景下,用户提供的输入图片为jpeg编码格式、分辨率为1280*720,但resnet50模型要求的输入图片格式为rgb、分辨率为224*224,两者不一致,此时可以使用媒体数据处理接口执行以下一系列处理。
▶ 媒体数据处理(抠图、缩放、格式转换)

使用resnet50模型实现图片分类的场景下,用户提供的输入图片格式为yuv420sp、分辨率为1280*720,但resnet50模型要求的输入图片格式为rgb、分辨率为224*224,两者不一致,此时可以使用媒体数据处理接口执行以下一系列处理。

03 怎么实现媒体数据处理

本节以resnet50模型图片分类的场景、用户输入图片为*.jpg图片文件为例,说明如何实现媒体数据处理。关于模型推理的详细描述,请参见《文档速递 09期ascendcl应用开发之「推理场景」》。

1、初始化ascendcl。
初始化ascendcl内部资源,为运行应用做准备。
2、申请运行管理资源。申请运行时相关资源,例如计算设备、context(管理运行时资源生命周期的容器)。
3、初始化媒体数据处理模块。初始化媒体数据处理模块的内部资源,为处理数据做准备。
4、jpeg图片解码。4.1 创建解码通道。
4.2 通知解码器开始接收码流。
4.3 发送解码码流。
4.4 获取解码结果,作为图片缩放的输入数据。
4.5 释放视频图像帧相关的资源。
4.6 通知解码器停止接收码流。
4.7 销毁解码通道。
5、图片缩放。
5.1 创建图片缩放通道。
5.2 图片缩放。
5.3 获取缩放后的输出图片数据,作为模型推理的输入。
5.4 销毁图片缩放通道。
6、去初始化媒体数据处理模块 。

7、释放运行管理资源。

8、去初始化ascendcl。
在确定完成了ascendcl的所有调用之后,或者进程退出之前,需调用ascendcl接口实现ascendcl去初始化。

04 更多介绍


了解更详细内容,登录昇腾社区,在开发者文档中心(https://www.hiascend.com/document?tag=community-developer)阅读相关文档:

昇腾cann文档中心致力于为开发者提供更优质的内容和更便捷的开发体验,助力cann开发者共建ai生态。任何意见和建议都可以在评论区留言,您的每一份关注都是我们前进的动力。 
【星辰平台的版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区),文章链接,文章作者等基本信息,否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。