Seesaw：通过线性算子补偿非线性缺失的隐私保护机器学习推理

Innovation Highlights

       高鸣宇团队提出了隐私保护机器学习场景的神经网络架构搜索方法Seesaw，这是一种针对私有机器学习推理量身定制的神经网络结构搜索方案。Seesaw通过增加更多的线性计算和重用现有的非线性结果，来弥补减少昂贵非线性操作所带来的准确性负面影响。它结合了新颖的剪枝和搜索方法，以高效地确定额外计算和数据重用的优化量。

Achievements Summary

Seesaw：通过线性算子补偿非线性缺失的隐私保护机器学习推理

       如何运用新技术防范黑客攻击，保护数据安全，并提升数据处理效率是亟待解决的问题。TEE环境下Path ORAM批量化加载算法Bulkor，高效图模式匹配框架PimPam，以及软硬件协同设计方案NDPBridge。

       随着数据隐私越来越被重视，基于隐私保护的机器学习应运而生。由于需要使用加密技术来保护用户数据隐私，因此其计算开销非常大，而主要瓶颈来源于非线性激活函数（如ReLU和Sigmoid）的计算。虽然现有工作试图通过减少非线性运算的数量来降低计算开销，但这往往会导致模型精度下降，使得模型精度和执行延迟之间不可兼得。

       近期，高鸣宇团队提出了一种用于隐私保护机器学习场景的神经网络架构搜索方法Seesaw，运用两种技术来解决上述困境：

（1）增加更多的线性运算以恢复模型的表征能力；

（2）通过残差连接重复使用已有的非线性运算的结果。

       Seesaw在搜索过程中考虑了线性运算的数量对在线/离线延迟的影响，并采用了新的搜索和训练策略来高效探索扩大后的搜索空间，最终得到最优的神经网络架构。