控制理论与应用

作者：熊志民,陈云华,冯忍,陈平华

单位：广东工业大学,广东工业大学,广东工业大学,广东工业大学

关键词：脉冲神经网络; ANN-SNN转化; 速率编码

基金：广东省自然科学基金项目(2021A1515012233, 2016A030313713)资助.

脉冲神经网络(SNN)具有强大的时空信息表征、异步事件处理能力,但由于脉冲发放过程不具有连续可微性,其训练是一个难题.人工神经网络(ANN)转SNN的方法,能够获得较高推理精度的深度SNN,但却存在SNN网络延迟和功耗过高的问题.为了降低网络延迟和功耗,本文从脉冲信息传递的异步特性入手,分析了极低延迟下SNN精度损失的主要原因,提出残余膜电位误差(RMPE)的概念,并对其进行分析与推导,建立残余膜电位与初始膜电位和权重之间的关系模型.基于所建立的残余膜电位模型,提出一种初始膜电位和权重的分层校准算法,减少残余膜电位误差,从而解决脉冲输入序列均匀分布假设与真实分布不一致的问题.提出一种ANN-SNN的双阶段转化框架,在第1阶段,采用带有可训练分层阈值的量化截断激活函数对ANN进行二次训练,以实现量化误差与截断误差的最优化;在第2阶段,对SNN进行微调训练,以进一步缩小残余膜电位误差,使得在极低延迟下的ANN-SNN转化也能获得较高的精度.实验结果表明,本文方法在推理延迟和功耗方面都优于现有的方法.

来源：2025年第3期

《控制理论与应用》期刊编辑部

查看控制理论与应用杂志2025年第3期