我院PI蒋力课题组在国际顶级会议ACM/SIGDA FPGA 2022及AAAI 2022上各发表一篇论文

近日，我院PI蒋力教授课题组在国际顶级会议ACM/SIGDA FPGA 2022及AAAI 2022上各发表一篇论文。其中，我院作为第一单位发表在ACM/SIGDA FPGA的论文“N^3H-Core:Neuron-designed Neural　Network Accelerator via FPGA-based　Heterogeneous Computing Cores”的并列第一作者为该课题组成员宫宇、徐志晗；另一篇发表在AAAI上的论文“SpikeConverter: An Efficient Conversion Framework Zipping the Gap between Artificial Neural Networks and Spiking Neural Networks”作者为该课题组成员刘方鑫（一作）和赵文博。

 FPGA 2022上发表的论文“N^3H-Core:Neuron-designed Neural Network Accelerator via FPGA-based　Heterogeneous Computing Cores”提出了一种利用神经网络来设计和优化FPGA异构AI加速器的框架。FPGA的高性能不仅能满足指数增长的神经网络计算需求，而且其灵活性也能满足神经网络的不断演进，成为神经网络推理加速的热门计算平台。然而，当前基于FPGA的神经网络加速器（例如Xilinx DPU）主要利用FPGA的片上DSP资源来构建乘加运算的处理单元，而丰富的逻辑查找表（LUT）资源却没有被充分利用。这项工作通过软硬件协同设计方法，提出了一个基于FPGA的异构计算系统，用于加速神经网络。

在硬件方面，加速器架构包含两种通用矩阵乘法（GEMM）计算核心，分别基于DSP（DSP-Core）和LUT（LUT-Core），以异构方式加速推理计算。此研究设计了统一的指令集架构（ISA）来控制DSP-Core和LUT-Core，采用了“层内异步，层间同步”的计算方式，将每层神经网络分为两个部分，分别分配给DSP-Core和LUT-Core开展计算，提高计算资源的利用率，极大减少推理延迟。

在软件方面，该研究对提出的FPGA异构加速器的延迟和资源利用率进行了系统级的数学建模，提出了相应的延迟模型和资源利用率模型。这两个模型反映出系统配置对计算延迟和片上资源利用的影响，模拟了硬件架构的设计空间，建立起硬件配置和算法设计自动化之间的联系。

最后，通过利用强化学习技术，构建了一个设计空间搜索框架，端到端地实现算法、架构设计参数的选择和自动优化，包括神经网络计算的拆分策略、混合精度量化方案以及对DSP-Core和LUT-Core的资源分配。凭借所提出的设计框架和异构计算系统，该研究的设计优于目前最先进的 Mix&Match (ASPLOS 2021)设计，在提升了推理准确度的同时，减少了1.12-1.32x的延迟。

图 1 基于强化学习的设计空间搜索框架 

图 2 FPGA异构加速系统

 当前精度最高的脉冲神经网络（SNN）往往是从ANN转化而来。SNN的优势主要体现在用加法取代乘法，用bit数据取代整数/浮点数的高能效计算方式。然而，在当前的同步计算机制下，SNN完成一次前向推理通常需要几百至几千时间步长的模拟，导致了极大的额外延迟和能耗，与SNN的设计初衷相悖。如何能在保持高精度的前提下充分发挥SNN的能效和延迟优势成为一大挑战。

论文“SpikeConverter: An Efficient Conversion Framework Zipping the Gap between Artificial Neural Networks and Spiking Neural Networks”旨在优化DNN转化而来的SNN的长时间模拟问题。这项工作通过系统建模分析了当前SNN中神经元的执行机制，设计了全新的ANN转SNN框架，极大减少模拟时间步长。包括脉冲序列的生成方法、神经元函数设计、脉冲信号处理过程。在当前同步计算机制下，最大程度地利用了层间并行，仅需要16个时间步长即可完成一次SNN的前向推理，实现了数量级上的性能和能效提升。同时，转化所得SNN模型在大规模数据集上（如ImageNet）也能匹配当前最先进的ANN模型的精确度。

图 3 极大压缩时间步长的ANN-SNN转化框架

ACM/SIGDA　FPGA（ACM/SIGDA International Symposium on Field-Programmable Gate Arrays）是由ACM/SIGDA主办的FPGA领域顶级学术会议。会议于1993年创建，旨在展现与FPGA技术相关领域的最新进展，包括物理设计、电路和架构、计算机辅助设计、高级综合算法、工具和模型、处理器和系统、测试方法、应用开发等各个方面。FPGA2022将于2022年2月27日到3月1日在美国加利福尼亚州蒙特雷以线上虚拟会议形式举办。

AAAI（the Association for the Advance of Artificial Intelligence）即：美国人工智能协会，是由计算机科学和人工智能领域奠基人Allen Newell、Marvin Minsky、John McCarthy等学者于1979年共同创立，旨在推动智能思维与行为机制的科学理解及机器实现，并促进人工智能的科学研究和规范应用，是国际人工智能领域的重要学术组织之一。该协会主办的年会(AAAI, The National Conference on Artificial Intelligence)是国际人工智能领域的顶级学术会议。AAAI2022将于2022年2月22日到3月1日在加拿大温哥华举行。