控制理论与应用

作者：刘涵,王宇,马琰

单位：西安理工大学,西安理工大学,西安理工大学

关键词：深度神经网络 剪枝 K-Means++聚类 深度网络压缩

基金：国家自然科学基金重点项目(61833013), 陕西省重点研发计划重点项目(2018ZDXM-GY-089), 陕西省现代装备绿色制造协同创新中心研究计划(304-210891704), 陕西省教育厅科学研究计划(2017JS088), 西安理工大学特色研究计划(2016TS023)

深度神经网络通常是过参数化的, 并且深度学习模型存在严重冗余, 这导致了计算和存储的巨大浪费. 针对这个问题, 本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩. 首先通过剪枝策略对正常训练后的网络进行修剪, 然后通过K-Means++聚类得到每层权重的聚类中心从而实现权值共享, 最后进行各层权重的量化. 本文在LeNet、AlexNet和VGG-16上分别进行了实验, 提出的方法最终将深度神经网络整体压缩了30到40倍, 并且没有精度损失. 实验结果表明通过基于改进聚类的压缩方法, 深度神经网络在不损失精度的条件下实现了有效压缩, 这使得深度网络在移动端的部署成为了可能.

来源：2019年第7期

《控制理论与应用》期刊编辑部

查看控制理论与应用杂志2019年第7期