以深度学习为代表的人工智能正广泛应用于各行各业。由于深度神经网络的参数量和计算量巨大，现有深度学习服务往往部署于云端，并依赖用户直接上传明文数据使用，存在严峻的数据泄露隐患。因此，在深度学习推理过程中保护数据和模型隐私至关重要。然而现有的隐私推理方案面临着巨大通信开销，如何有效降低通信量成为了一个亟待解决的问题。

北京大学人工智能研究院李萌课题组通过协同优化神经网络架构和隐私推理协议，将隐私推理的通信开销降低近4倍，该工作论文“CoPriv: Network/Protocol Co-Optimization for Communication-Efficient Private Inference”目前发表于NeurIPS 2023。

论文发表页面

在该研究中，我们强调隐私推理的预处理和在线阶段的开销同等重要，并提出CoPriv协同优化神经网络架构和隐私推理协议。首先，CoPriv基于Winograd算法优化常用的3x3卷积，并提出了一系列优化方案。对于轻量级移动网络，如MobileNetV2，我们提出可微分ReLU剪枝和网络重参数化技术。相比于现有的研究，我们的工作同时优化了线性层（卷积）和非线性层（ReLU和截断），以同时提高预处理和在线阶段的通信效率。下图展示了完整的协同优化框架，并以ResNet-18和MobileNetV2为例直观展示了各个优化所带来的收益。

CoPriv的神经网络架构与推理协议协同优化框架

一、推理协议优化

经过分析，卷积的通信开销和乘法的次数正相关，由于总通信量被卷积中的乘法所主导，我们的核心思路是降低乘法的总次数，并以计算更多的本地加法为代价（本地加法在安全多方计算中无需通信）来降低总通信开销。

优化1：块聚集技术（Tile Aggregation）

我们发现，虽然Winograd变换帮助降低了乘法次数，但是原本的逐元素乘法（EWMM）无法利用隐私计算中基于不经意传输协议的矩阵乘法批优化（Batch Optimizatin），带来了昂贵的开销。因此，我们提出块聚集技术将EWMM转化为通用矩阵乘法（GEMM）的形式，以降低通信开销。卷积协议和计算流程如下图所示：

带块聚集优化的Winograd变换卷积计算流程

优化2：自适应卷积技术（Adaptive Convolution）

在执行卷积协议时，服务器和客户端都可以（作为不经意传输的发送方）启动协议。由于输入特征图和滤波器的维度不同，我们观察到启动方的选择会影响通信轮数和通信复杂度。CrypTFlow2总是选择服务器来启动协议，而我们提出的神经网络架构感知卷积协议则根据层的维度在服务器和客户端之间进行自适应的选择，以最大限度地降低通信复杂度。

结合以上提出的两个优化方案，协议的通信复杂度分析如下所示：

不同卷积操作的通信复杂度分析

二、神经网络架构优化

本文的核心思想是同时移除MobileNetV2翻转残差块中的两个ReLU之后，整个残差块就可以被融合为单个卷积层，然后再通过基于Winograd变换的协议进一步优化。

问题1：如何移除ReLU？

为了识别“不重要的”非线性激活函数（ReLU），我们提出通信感知的可微分ReLU剪枝算法。CoPriv给每一个ReLU分配一个架构参数α以衡量ReLU的重要度。在剪枝过程中，每个激活函数遵循以下计算：

并且同时优化模型权重参数 θ和架构参数α。为了使CoPriv的剪枝关注到通信量较大的层，我们定义了如下带通信感知正则项的损失函数：

为了保证整个翻转残差块可以进一步融合，我们在剪枝过程中让两个ReLU共享同一个架构参数，剪枝ReLU过程如下图所示：

ReLU剪枝算法过程

问题2：如何融合残差块？

网络（结构）重参数化是一种加速神经网络推理的优化技术，其核心思想是解耦训练时的网络架构和推理时的网络架构，并保证两种架构完全等价（即可以通过参数的融合实现）。从而使网络在训练时具有较高的性能，在推理时同时具有较高的性能和较高的效率。

对于CoPriv，去除“不重要的”ReLU后，翻转残差块就变成了线性结构，从而可以通过网络重参数化，进一步将Point-wise卷积和Depth-wise卷积融合成单个卷积层，重参数化过程如下图所示：

网络重参数化算法过程

如下图所示，我们在CIFAR-100和ImageNet两个数据集上进行了实验，结果表明CoPriv在准确率和在线/总通信量方面均优于基准方法，并且现有的ReLU优化工作，如DeepReDuce、SNL、SENet，无法有效降低总体通信开销。

CIFAR-100数据集上的实验结果

ImageNet数据集上的实验结果

此外，我们对CoPriv的不同优化技术进行了消融实验，下图中的结果表明我们提出的ReLU剪枝、网络重参数化、Winograd卷积协议都对隐私推理效率有所帮助。

对CoPriv中各个优化技术的消融实验

论文的第一作者为北京大学研究生曾文轩，通讯作者为李萌。