rknn模型(rknn模型可视化)

rknn模型(rknn模型可视化)首先我转的模型是 centertrack 这个模型 其实总的来说这个模型还是比较简单的 但是由于其中有一个 DCN 卷积在 onnx 和 tensorflow 中不支持的自定义算子 所以有很多坑都是围绕他进行的 首先就是对这个 DCN 卷积部分的处理 我使用了一个插件的形式来方便插入到 onnx 中 这是由于 onnx 支持自定义算子的实现 插件部分 类似于这样的插件定义的形式

大家好,我是讯享网,很高兴认识大家。



首先我转的模型是centertrack这个模型,其实总的来说这个模型还是比较简单的,但是由于其中有一个DCN卷积在onnx和tensorflow中不支持的自定义算子,所以有很多坑都是围绕他进行的。

首先就是对这个DCN卷积部分的处理,我使用了一个插件的形式来方便插入到onnx中,这是由于onnx支持自定义算子的实现。

插件部分:(类似于这样的插件定义的形式)

另外最后要记得把输出的字典形式改成数组的形式,因为onnx不支持字典的输出。

当然实际转模型的时候还是有很多环境的问题的,这就需要你不断的建立各种适配的环境然后进行尝试了,我的运气比较好一个环境走遍天下没出太多问题。

我的环境是:
pytorch=1.1
cuda=10.0
cudnn=7.6.5
onnx=1.1(1.6也尝试过,没啥区别,照样没有报错,不过最后是用1.1成功的,1.6没试过不清楚)

然后就是onnx模型转tensorflow了,这个就比较反人类了,没办法由于我司自研的底层架构,所以只能用tensorflow了,不能用tensorRT。。。。

首先打开转好的onnx模型图,看到是没有什么大问题的,然后就按照网上的方法进行转了。

先安装onnx-tf的包直接pip就好(当然最好虚拟环境,因为你不清楚你最后是什么环境能成功。。。。我运气好,一个环境就好了,哈哈)

rknn自定义算子开发指南_卷积
讯享网

然后pip install onnx-tf(如果不行再去这个网站下载到本地运行https://www.cnpython.com/pypi/onnx-tf)

然后运行一个脚本

一般情况之下,你是不可能看到successful的字眼的。。。

下面就说说我碰到的情况吧

rknn自定义算子开发指南_tensorflow_02

看到了吧,上面的append换成insert就好了,也对啊insert是在节点的地方插入,而append是在节点后添加,所以图里面虽然看不出问题,但是实际上内部还是会有区别的,以前的时候没有注意list的这个问题,没想到这个小问题愁了我整整一天。。。(所以说基础规范很重要!!!)

rknn自定义算子开发指南_卷积_03

rknn自定义算子开发指南_rknn自定义算子开发指南_04

好消息是我们又改了一个bug,坏消息是坑还是很多啊!!!

看错误似乎是我们的反卷积部分出现问题了,后来咨询了一下公司的大佬,大佬一针见血的指出了是onnx的bug,ConvTranspose函数的group不支持高维的,所以应该改成group=1,下面的权重信息也得进行pad成grup的维度。

好吧。。。改代码。这里有一个代码的小问题,你修改参数以后一定要记得把你修改的参数再赋值给原来的传入参数(注意是最原来的传入参数!!!)

rknn自定义算子开发指南_卷积_03

这下终于看到了successful的字眼了,真的不容易,总的来数还是自己的问题比较多一点,所幸我人品好没有碰到环境的问题。

小讯
上一篇 2025-04-30 17:17
下一篇 2025-04-24 19:52

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/172024.html