祝贺:成都康乔电子发明专利CN109902745A
本发明创造提供一种基于CNN的低精度训练与8位整型量化推理方法,主要步骤为:
低精度模型训练;用16位浮点型的低精度定点算法进行模型训练,得到用于目标检测的模型;量化权重;提出8位整型量化方案,按层将卷积神经网络的权重参数从16位浮点型量化为8位整型;8位整型量化推理;把激活值量化为8位整型数据,即CNN的每一层都接受int8类型量化输入并生成int8量化输出。
本发明用16位浮点型低精度定点算法训练模型得到权重,再量化为8位的整型数据进行前向推理,相比于32位浮点型算法训练模型得到的权重直接进行8位整型量化推理,优化卷积层的推理过程,有效降低了低位定点量化推理带来的精度损失。