<div class="text-gray padding-big-bottom text-default"> </div> <p>客户在开发rknn遇到的问题案例及解答:<br/></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px">int8量化精度怎么提升？</span></p><p><span style=";font-family:宋体;font-size:16px">mxnet float32特征和RK量化后特征相似度内积求和结果对比：</span></p><p><span style=";font-family:宋体;font-size:16px">asymmetric_u8(8bit) &nbsp;&nbsp;&nbsp;0.965</span></p><p><span style=";font-family:宋体;font-size:16px">dynamic_fix_point-8(8bit) &nbsp;&nbsp;0.917</span></p><p><span style=";font-family:宋体;font-size:16px">dynamic_fix_point-16(16bit) &nbsp;&nbsp;0.999</span></p><p><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">可见</span> <span style="font-family:宋体">dynamic_fix_point-16 没有问题，asymmetric_u8精度有损失，如何提升？</span></span></p><p><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">工具版本：</span><span style="font-family:宋体">rknn-toolkit 1.4.0</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px">rknn有支持混合量化，可以通过量化精度分析，精度损失比较大的层可以通过dynamic_fixed_point-16 量化。</span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">对量化损失很大的模型安装</span><span style="font-family:宋体">step2操作，修改指定层量化精度为float32, 但量化出来的模型损失更大，这个量化精度提高,损失不是变少吗？</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px">1109 不支持浮点，所以设置float32无效</span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">你们一般提高量化精度的方法有哪些</span><span style="font-family:宋体">?</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px">asymmetric_quantized-u8 &nbsp;、dynamic_fixed_point-8 、dynamic_fixed_point-16 、混合量化</span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">能不能支持</span><span style="font-family:宋体">TVM量化后的模型导入？</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">只支持</span><span style="font-family:宋体">TensorFlow框架已量化模型。</span></span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">请问</span><span style="font-family:宋体">int16和int8组成混合量化后，有速度比int16更慢的情况吗？</span></span></p><p><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">就是假设一共三层，第一层和第三层是</span><span style="font-family:宋体">int8，第二层是int16，这个速度比3层都是int16的要慢。</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px">应该不会</span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">您好，我们这边转换的一个模型，调用</span> <span style="font-family:宋体">C API在目标板上运行报错，请问可能是什么原因呢？</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">放在</span><span style="font-family:宋体">rv1109上跑的话转换时候需要配置target_platform=[&#39;rv1109&#39;,&#39;rv1126&#39;]</span></span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">初始化模型，获取模型输入输出属性，耗时</span><span style="font-family:宋体">50秒左右，这个也不正常吧？</span></span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A:</span></strong><span style=";font-family:宋体;font-size:16px">模型加载慢的话可以用预编译模型</span></p><p><span style=";font-family:宋体;font-size:16px">&nbsp;</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">Q:</span></strong><span style=";font-family:宋体;font-size:16px">python从darknet量化的配置,错误码-6,这个可能是什么原因?python转换的模型，在提供的docker内可以跑，但在开发板上，用c++报错-6的信息.</span></p><p><strong><span style="font-family: 宋体;font-size: 16px">A1:</span></strong><span style=";font-family:宋体;font-size:16px"><span style="font-family:宋体">板子上用的是不是</span><span style="font-family:宋体">mini-drvier，mini-drvier只能支持预编译模型?对比机器里面的文件，看下用的哪个</span></span></p><p><span style=";font-family:宋体;font-size:16px">external 

knpudriverslinux-armhf-puma

external knpudriverslinux-armhf-puma-mini

mini-drvier只能支持预编译模型。你们可以编译个完整drvier固件试一下

A2:云盘上的固件F8-NPU-1112.img是完整drvier的npu固件

 

Q:如果使用的是预编译模型，mini-driver 跟完整 driver 在模型运行性能方面有没有差别？驱动方面，两个driver对模型运行性能有无差异?

A:预编译模型加载会更快，无性能影响

讯享网

 

Q:python的inference模型支持yolo的检测输出层，c++的不支持，yolo解anchor层。其实python的解anchor也是在外运行的，但模型里有这么一层。

A:python上能跑，c++应该也没问题,PC上连接1109板子，联机跑一下

ret = init_runtime(target=’rv1109’, device_id=’xxxxxx’)

 

Q:您好，想问下，我们有一个模型转RKNN模型时，如果未启用预编译，则可以实现单层输出，但若启用预编译，则实现不了单层输出（outout有多层），请问这可能是什么原因呢？有没有可能在预编译模式下也可以实现单层输出？原始模型为YoloV3类型。

A:直接从板子上导出预编译模型试一下。即先在PC上转换非预编译的RKNN模型，用examplescommon_function_demosexport_rknn_precompile_model脚本直接从板子上导出预编译模型

。

 

Q:rk现在不能转l2 norm这个op吗，其他模型报错，l2 norm no implemention

A:支持的op列表:  https://github.com/rockchip-linux/rknn-toolkit/blob/master/doc/RKNN_OP_Support_V1.4.0.md

 

Q:模型输入的属性显示tensor类型为INT16，是否要求实际输入到模型进行推理的数据也是INT16类型？

A:这个是可以配置的，你输入的数据是什么类型就配置什么类型,如果类型不一致的话,可能会出问题.