PPQ量化框架

PPQ量化框架一 量化的基本流程 网络解析 在 ppq api interface py 当中 其中 NetworkFrame 是一个枚举类 表述各种网络类型 如果读取成功 返回一个 BaseGraph 就是 ppq 里面的计算题 要想读取 pytorch

大家好,我是讯享网,很高兴认识大家。

一、量化的基本流程:


讯享网

 网络解析

 在ppq/api/interface.py当中:

 其中NetworkFramework是一个枚举类,表述各种网络类型,如果读取成功,返回一个BaseGraph(就是ppq里面的计算题),要想读取pytorch、TF的话需要将模型导出为ONNX

图调度

首先了解调度器,其中一个全新的调度器在ppq/scheduler/perseus.py,

其中一个函数dispatch说明了需要量化的:矩阵乘、卷积操作,不需要量化的:shape算子、Topk算子,把从矩阵乘/卷积计算节点出发的数据,其传递闭包(数据从哪里来,途径点),最后输出一个调度表

初始化量化信息 :理解量化部署的核心。

要五个东西去量化模型,调度表、PPQ计算图、TargetPlatform(量化平台)、一堆数据、quantizationSetting(量化配置)

在文件ppq/api/interface.py,有很多类型的

 其中的TargetPlatform:

其中的quantizationSetting是一个封装了量化配置参数的数据结构,你可以修改它的参数来自定义量化规则与优化方式,

如何去做初始化的呢?在ppq/quantization/quantizer/base.py里面,QuantizationSetting创建管线的,TargetPlatform选量化器

 这个quantize(量化器)函数的职责就是负责根据调度情况,初始化算子的量化信息,并创建量化管线。做了有如下三步:

  • prequant pipeline: 启动预处理管线

    讯享网
  • 讯享网quantize all operations 初始化量化信息
  • calling graph optimization pipeline 启动量化管线 

量化信息是ppq中的一种数据结构:TensorQuantizationConfig,在ppq/core/quant.py里面

TQC描述量化的具体细节,量化器初始化了policy,num-of-bits,state,rounding,quant-min,quant-.max,其余属**由量化管线进一步处理:scale、_offset、_dominator

在PPQ中,所有的量化计算都在ppq/quantization/qfunction/linear.py,量化器的子类将近20个

举例说明一个量化器:TRTQuantizer,在ppq/quantization/quantizer/下面

对呀trt平台,关闭所有输出量化,即

讯享网bias_config = OQC.input_quantization_config[-1] bias_config.state = QuantizationStates.FP32

但是对于卷积、反卷积、矩阵乘等算子而言需要做per-channal,重新设定校准方式为minmax

小讯
上一篇 2025-03-21 11:07
下一篇 2025-02-25 12:02

相关推荐

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容,请联系我们,一经查实,本站将立刻删除。
如需转载请保留出处:https://51itzy.com/kjqy/113984.html