一、量化的基本流程:
网络解析
在ppq/api/interface.py当中:

其中NetworkFramework是一个枚举类,表述各种网络类型,如果读取成功,返回一个BaseGraph(就是ppq里面的计算题),要想读取pytorch、TF的话需要将模型导出为ONNX

图调度
首先了解调度器,其中一个全新的调度器在ppq/scheduler/perseus.py,
其中一个函数dispatch说明了需要量化的:矩阵乘、卷积操作,不需要量化的:shape算子、Topk算子,把从矩阵乘/卷积计算节点出发的数据,其传递闭包(数据从哪里来,途径点),最后输出一个调度表

初始化量化信息 :理解量化部署的核心。
要五个东西去量化模型,调度表、PPQ计算图、TargetPlatform(量化平台)、一堆数据、quantizationSetting(量化配置)
在文件ppq/api/interface.py,有很多类型的

其中的TargetPlatform:


其中的quantizationSetting是一个封装了量化配置参数的数据结构,你可以修改它的参数来自定义量化规则与优化方式,
如何去做初始化的呢?在ppq/quantization/quantizer/base.py里面,QuantizationSetting创建管线的,TargetPlatform选量化器

这个quantize(量化器)函数的职责就是负责根据调度情况,初始化算子的量化信息,并创建量化管线。做了有如下三步:
-
prequant pipeline: 启动预处理管线
讯享网 -
讯享网quantize all operations 初始化量化信息
-
calling graph optimization pipeline 启动量化管线
量化信息是ppq中的一种数据结构:TensorQuantizationConfig,在ppq/core/quant.py里面
TQC描述量化的具体细节,量化器初始化了policy,num-of-bits,state,rounding,quant-min,quant-.max,其余属**由量化管线进一步处理:scale、_offset、_dominator

在PPQ中,所有的量化计算都在ppq/quantization/qfunction/linear.py,量化器的子类将近20个

举例说明一个量化器:TRTQuantizer,在ppq/quantization/quantizer/下面
对呀trt平台,关闭所有输出量化,即
讯享网bias_config = OQC.input_quantization_config[-1] bias_config.state = QuantizationStates.FP32
但是对于卷积、反卷积、矩阵乘等算子而言需要做per-channal,重新设定校准方式为minmax


版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/113984.html