卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度。针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型。通过对缩放因子L...卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度。针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型。通过对缩放因子L1正则化,使重要性低的通道值接近0,进行稀疏化训练,再引入全局阈值和局部阈值剪枝掉接近于零的通道并防止模型向粗粒度方向压缩,并对其进行训练微调参数,得到了混合阈值剪枝的精简模型。最后为了验证本文方法有效性,在DOTA(a large-scale dataset for object detection in aerial images)数据集中进行测试,该算法在小幅度降低图像识别精度的前提下,成功地压缩模型90%大小,加快了53%的计算速度,取得了较好的效果。展开更多
文摘卷积神经网络在图像识别的应用中,有大量的冗余参数,增大了计算量,降低了网络运行速度。针对这个问题,提出了一种混合多阈值的稀疏化训练剪枝算法,通过稀疏化训练和混合全局与局部阈值的剪枝算法,压缩了神经网络的模型。通过对缩放因子L1正则化,使重要性低的通道值接近0,进行稀疏化训练,再引入全局阈值和局部阈值剪枝掉接近于零的通道并防止模型向粗粒度方向压缩,并对其进行训练微调参数,得到了混合阈值剪枝的精简模型。最后为了验证本文方法有效性,在DOTA(a large-scale dataset for object detection in aerial images)数据集中进行测试,该算法在小幅度降低图像识别精度的前提下,成功地压缩模型90%大小,加快了53%的计算速度,取得了较好的效果。