1. 首页首页
  2. 科技前沿科技前沿

rknn模型（rknn模型推理）

科技前沿 • • 阅读 76

rknn模型（rknn模型推理）svg xmlns http www w3 org 2000 svg style display none svg

大家好，我是讯享网，很高兴认识大家。



 <svg xmlns="http://www.w3.org/2000/svg" style="display: none;"> <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path> </svg> <p>欢迎学习RKNN系列相关文章&#xff0c;从模型转换、精度分析&#xff0c;评估到部署&#xff0c;推荐好资源&#xff1a;<br /> 一、Ubuntu系统上安装rknn-toolkit<br /> 二、使用rknn-toolkit将Pytorch模型转为RKNN模型<br /> 三、RKNN模型的评估和推理测试<br /> 四、RKNN模型量化精度分析及混合量化提高精度<br /> 五、RKNN模型性能评估和内存评估<br /> 六、rknn-toolkit-lite2部署RKNN模型到开发板上&#xff08;python版&#xff09;<br /> 七、RKNN C API开发板上落地部署RKNN模型<br /> 八、RKNN零拷贝API开发板落地部署RKNN模型</p>

讯享网

在这里插入图片描述
讯享网

Caffe
Tensorflow
Onnx
Pytorch
Mxnet
MindSpore

非RKNN模型在转换成RKNN模型时，可以选择量化或浮点两种精度模式。量化模式可以有效降低模型的存储空间和计算资源消耗，但可能会降低模型的推理精度。浮点模式可以获得更高的推理精度，但需要更大的存储空间和计算资源消耗。

非RKNN模型在转换成RKNN模型时，可以对模型进行优化，以提高推理性能。RKNN提供了多种优化选项，包括：
算子融合
内存优化
并行计算

非RKNN模型在转换成RKNN模型后，可以部署到各种硬件平台上进行推理，包括：
CPU
GPU
NPU

注：非RKNN模型经过转换得到的RKNN模型可以在模拟器上推理，也可以在开发板上推理；而直接加载的RKNN模型不能再模拟器上推理，只能在开发板上推理。

以上区别总结起来，可以用下面表格表示：

在这里插入图片描述

本教程配套的源码包获取方法为文章末扫码到公众号中回复关键字：RKNN评估与推理。获取下载链接。

源码包下载解压后的样子如下：

在这里插入图片描述

加载非RKNN模型推理的流程图如下所示：

在这里插入图片描述

需要修改的地方如下：

在这里插入图片描述

代码对应源码包中的inference_pytorch.py，具体代码见下：

讯享网

运行脚步后输出的结果：

在这里插入图片描述

打开imagnet1000标签.txt文件查找812，预测结果正确，如下：

在这里插入图片描述

加载RKNN模型进行模型推理的流程图如下：

在这里插入图片描述

需要修改的地方如下：

在这里插入图片描述

代码对应于源码包中的inference_rknn.py脚本，具体代码如下：

 

 

 

以上就是RKNN模型的评估和推理测试详细过程，希望能帮到你！
 

总结不易，多多支持，谢谢！
 


                    


                    


                    

                        

                            

                                小讯
                            

                            

                                

                                    
                                        
                                    
                                

                            

                        

                    

                


                

                    
                    
                    

                        
                        

                             上一篇
                            2025-04-19 16:46
                        

                    

                    
                    


                    
                    
                    

                        
                        

                            下一篇 
                            2025-04-17 13:24
                        

                    

                    
                    
                


                

                    
相关推荐

                    
                

                

                    

                        版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们，一经查实，本站将立刻删除。
如需转载请保留出处：https://51itzy.com/kjqy/172912.html