Flash-DWC:在GPU上实现深度卷积的高效计算

《ACM Transactions on Architecture and Code Optimization》:Flash-DWC: Making Depthwise Convolution Compute-Efficient on GPUs

【字体: 大 中 小 】 时间:2026年09月19日 来源:ACM Transactions on Architecture and Code Optimization 2.9

编辑推荐:

   摘要 深度可分离卷积(DWC)是高效卷积神经网络(CNN)中的关键算子。近期模型越来越多地采用大滤波器DWC来捕获长程依赖关系,其精度可与视觉Transformer媲美。然而在GPU上,DWC的实际效率远低于其低FLOPs所暗示的水平,并可能成为运行时的瓶颈,原因在于算术强

  

摘要

深度可分离卷积(DWC)是高效卷积神经网络(CNN)中的关键算子。近期模型越来越多地采用大滤波器DWC来捕获长程依赖关系,其精度可与视觉Transformer媲美。然而在GPU上,DWC的实际效率远低于其低FLOPs所暗示的水平,并可能成为运行时的瓶颈,原因在于算术强度低、与Tensor Core不匹配以及内存访问效率不高。为解决这些问题,我们提出了Flash-DWC——一个使DWC计算高效的GPU库。Flash-DWC引入了基于GEMV的数据流协同设计,联合优化数据重用、访问顺序、布局和工作负载分块。该设计提高了算术强度,同时保持了访问连续性和合并的128字节内存访问。Flash-DWC进一步将DWC的GEMV转换为紧凑的高密度GEMM,在Tensor Core上实现高效的混合精度加速。此外,矩阵压缩、双路拆分GEMM流水线和基于寄存器的输入重用进一步释放片上资源、隐藏内存延迟并提高占用率。我们将这些技术扩展到前向和反向传播,以实现高效的端到端训练。与最快的cuDNN DWC算法相比,Flash-DWC基于GEMV的CUDA Core内核和基于GEMM的Tensor Core内核分别实现了5.09倍和9.01倍的平均加速比。在CNN训练中,Flash-DWC实现了1.03倍至14.18倍的加速,并在ImageNet-1K上与PyTorch的收敛性保持一致。通过使DWC计算高效,Flash-DWC促进了更大且更具表达力的滤波器的应用。

1 引言

对于卷积神经网络(CNN)而言,在保持表征能力的同时降低计算成本是一个长期目标。为此,许多高效CNN [12, 13, 39, 40] 用深度可分离卷积(DWC)替代标准卷积,在保留空间感受野的同时大幅降低FLOPs。自2022年以来,新一批架构 [15, 25, 26, 29, 41, 44, 46, 47, 48] 进一步利用大滤波器DWC(如7×7、31×31)来捕获长程依赖关系,以更低的FLOPs实现了与视觉Transformer [9, 22, 23, 43] 相当甚至更优的精度。除ImageNet分类外,大滤波器DWC在目标检测和语义分割等下游任务上也提供了更大的收益 [2, 7, 8, 17, 20],凸显了其作为可迁移主干网络的价值。

然而,DWC的低FLOPs并不能保证在GPU上按比例获得加速。随着DWC的FLOPs随滤波器大小的平方增长,这一问题变得更加突出。我们的PyTorch剖析显示,对于滤波器大于7×7的评估工作负载 [7, 20, 25, 41],DWC算子可占每批次训练时间的一半以上。这种运行时成本限制了更大、更具表达力的滤波器的实际应用。近期工作 [8, 17, 20] 通过分解或稀疏滤波器来缓解这一问题,但此类近似往往牺牲了表征能力,而密集滤波器通常更为精确 [2]。

这种低效源于DWC与GPU架构之间的根本性不匹配:(i)算术强度低:每个输入元素参与的计算量远少于标准卷积,导致计算单元利用率不足;(ii)Tensor Core不匹配:DWC本质上是一组小型GEMV的集合而非大型GEMM,难以利用高吞吐的矩阵单元;(iii)内存访问效率低:DWC仅在空间维度上累加,破坏了通道方向的连续性并降低了内存合并度。因此,PyTorch [36] 和cuDNN [4] 等主流库仅利用了GPU计算能力的一小部分来执行DWC。先前的优化部分缓解了这些问题,但局限性依然存在。基于CUDA Core的方法 [27, 28, 32, 34, 37] 在混合精度吞吐量方面受限;基于GEMM或Tensor Core的方法 [32, 34, 38] 往往引入冗余或稀疏模式。此外,一些方法仅针对更窄的场景(如小滤波器)进行了调优,或未充分利用软件流水线和内存合并。

我们不重新设计模型,而是提出一个问题:DWC本身能否在GPU上变得计算高效?我们的核心洞察是,加速DWC的关键不在于减少FLOPs,而在于隐藏内存延迟以使计算单元饱和。为此,我们提出Flash-DWC——一个以统一方式解决DWC瓶颈的GPU库:(i)基于GEMV的数据流协同设计联合优化数据重用、访问顺序、布局和工作负载分块,从而提高算术强度,同时保持访问连续性和128字节合并访问;(ii)紧凑变换将DWC的GEMV映射为高密度GEMM,实现高效的Tensor Core利用。结合资源高效的内核优化,这些技术将DWC从内存瓶颈转变为计算瓶颈,并支持完整的训练流程。Flash-DWC已集成到PyTorch中,其源代码可在我们的GitHub仓库中获取。

我们在RTX 4090、A100 80GB和RTX 5880 Ada GPU上评估了Flash-DWC。与最快的cuDNN DWC算法相比,基于GEMV的CUDA Core内核实现了5.09倍的平均加速比;基于GEMM的Tensor Core内核进一步实现了相对于cuDNN 9.01倍、相对于CUDA Core内核2.01倍的平均加速比。在端到端训练中,Flash-DWC实现了1.03倍至14.18倍的加速,同时在ImageNet-1K [6] 上与PyTorch的收敛性保持一致。

我们的贡献总结如下:

——基于GEMV的数据流协同设计。我们利用DWC GEMV中的滤波器重用以及重叠补丁间的宽度优先输入重用。这将算术强度从朴素DWC的1提高到CUDA Core上超过15,结合GEMV到GEMM的变换后可超过40,同时保持了访问连续性和内存合并。

——紧凑的GEMV到GEMM变换。我们将DWC的GEMV映射为56.25%密度的GEMM,是朴素填充方案的4.5倍。该变换支持多通道、大滤波器工作负载,并与我们的基于GEMV的协同设计无缝集成,实现在Tensor Core上的混合精度加速。

——资源高效的内核优化。对于Tensor Core内核,双路拆分GEMM流水线配合在线矩阵压缩,将50%的计算与数据加载重叠,同时将共享内存使用大幅削减以提高占用率和L1容量。对于CUDA Core内核,基于寄存器的输入重用同样最小化共享内存使用以释放片上内存。

——优化的训练流水线。针对滤波器梯度计算中的低并行性和不规则输出形状,我们通过累加轴并行化和灵活分块加以解决,同时混合累加速了混合精度执行。内核融合减少了小滤波器的数据搬运。

2 背景与设计原则

为了奠定基础,我们首先形式化标准卷积和深度可分离卷积,分析DWC的瓶颈,然后确立我们的初步设计选择。

2.1 标准卷积与深度可分离卷积

为了形式化描述二维卷积,我们定义以下符号:N表示批次大小;I_H、I_W和I_C分别表示输入高度、宽度和通道数;O_H、O_W和O_C分别表示输出高度、宽度和通道数;F_H和F_W分别表示滤波器高度和宽度。

标准二维卷积遵循全对全模式。它将输入特征图 X ∈ R^{N×I_H×I_W×I_C} 与滤波器 W ∈ R^{O_C×F_H×F_W×I_C} 进行卷积,生成输出特征图 Y ∈ R^{N×O_H×O_W×O_C}。在所有 N×O_H×O_W 个批次空间位置上,每个输入补丁与 O_C 个滤波器中的每一个执行 F_H×F_W×I_C 的内积。这允许通过Im2col自然地映射为通用矩阵乘法(GEMM),其中一个矩阵包含所有展开的输入补丁,另一个包含所有展平的滤波器 [4]。

深度可分离二维卷积(DWC)遵循全对一模式。它将X与滤波器 W ∈ R^{O_C×F_H×F_W} 进行卷积以生成Y。每个输入通道有其专属的滤波器用于输出通道,因此 I_C 等于 O_C。在所有批次空间位置上,每个输入补丁与其专属滤波器执行 F_H×F_W 的内积。因此,每个通道的操作自然地映射为通用矩阵-向量乘法(GEMV),如图1所示,其中矩阵包含该通道中所有展开的输入补丁,向量为展平的滤波器。

图1. 深度可分离卷积。左侧展示了三通道DWC:每个通道的操作可通过Im2col转换为GEMV。右侧详细展示了通道0的Im2col变换:朴素地将每个展平滤波器片段填充为8×4矩阵用于Tensor Core GEMM会导致至少78%的稀疏性;虚线框指示对应前4个滤波器元素的GEMM。

2.2 深度可分离卷积的性能瓶颈

我们从三个方面分析DWC的性能瓶颈。

算术强度。标准卷积(GEMM)对 O(n2) 的数据执行 O(n3) 的计算,将每个矩阵行跨另一个矩阵的所有列重用。相比之下,DWC(GEMV)对 O(n2) 的数据执行 O(n2) 的计算,每个矩阵行仅使用一次。这种数据重用的根本差异导致了算术强度的巨大差距。具体来说,DWC和标准卷积的理论上限分别为 η_D = 2N·O_H·O_W·O_C·F_H·F_W / (N·I_H·I_W·I_C + O_C·F_H·F_W) 和 η_S = 2N·O_H·O_W·O_C·F_H·F_W·I_C / (N·I_H·I_W·I_C + O_C·F_H·F_W·I_C)。这些简化为 η_D ≈ (1/I_C)·η_S,因为分辨率和批次大小总是较大的。在CNN中 I_C 通常很大(例如64到1024),DWC的算术强度比标准卷积低几个数量级。这量化了为什么它仍然是内存瓶颈且无法使计算单元饱和。

Tensor Core不匹配。在现代GPU上,Tensor Core是专用于混合精度GEMM的单元,相比通用CUDA Core提供高得多的峰值吞吐量。Tensor Core要求GEMM维度 m≥8, n≥8, k≥4。标准卷积通过其大通道数的GEMM结构自然地满足这些约束。然而,DWC作为一组GEMV的集合运行,每个GEMV对于Tensor Core的GEMM维度来说都太小了。如图1所示,朴素地将每个展平滤波器片段填充为8×4虽然满足了最小的 m8n8k4 GEMM形状,但浪费了7/8的矩阵列。这带来了大量不必要的计算、冗余寄存器、共享内存使用以及潜在的分束分歧。因此,针对DWC的朴素Tensor Core映射无法相对于CUDA Core实现有意义的加速。这促使我们提出第4节中高效GEMV到GEMM的变换。

内存访问。在标准卷积中,累加沿 F_H×F_W×I_C 维度进行,这些维度完全连续且可以合并。例如,在NHWC布局中,I_C 始终是32的倍数,因此W和X的加载可以沿I_C轴以128字节进行向量化,最大化内存事务粒度。相比之下,DWC仅在 F_H×F_W 上累加。在NHWC格式中,空间位置与I_C步幅交错,破坏了访问连续性。此外,在NCHW和NHWC布局中,W的维度顺序为 O_C×F_H×F_W,其中 F_H 和 F_W 通常为奇数尺寸,因此不对齐128字节。因此,DWC在饱和内存带宽方面的能力较弱。

2.3 设计原则

为了克服这些瓶颈,我们旨在隐藏内存延迟并使计算单元饱和,遵循内存感知内核中的通用原则 [5, 10]。这转化为两个方向:(i)最大化片上数据重用以最小化片外内存流量;(ii)通过高效布局和访问模式最大化带宽。为实现这些目标,我们首先选择卷积方式和张量布局。

直接卷积方法。这指的是直接计算DWC,而非使用FFT或Winograd域变换。虽然FFT [31] 和Winograd [16] 可以减少FLOPs,但它们引入了额外的变换、中间存储、数据搬运和有限精度舍入。这种权衡对DWC不利:减少的计算提供的收益有限,而额外的数据搬运则加剧了主导性的内存瓶颈并可能抵消FLOP的节省,最终降低吞吐量。直接卷积保留了最直接的数据流,使我们能够将片上资源(如寄存器、共享内存)用于最大化数据重用和带宽。

统一通道在后布局。我们将滤波器从传统布局 W ∈ R^{O_C×F_H×F_W} 重排为 W ∈ R^{F_H×F_W×O_C};我们将输入和输出特征图存储为 X ∈ R^{N×I_H×I_W×I_C} 和 Y ∈ R^{N×O_H×O_W×O_C}。对于DWC,I_C=O_C,因此所有张量都将通道轴放在最后。这使得滤波器和特征图沿通道轴的合并访问成为可能。由于X和Y保持在NHWC布局中,Flash-DWC可以与主流库的相邻操作(如归一化和逐点卷积)自然互操作。

3 面向深度可分离卷积的基于GEMV的数据流协同设计

基于直接卷积和统一通道在后布局,我们首先在CUDA Core上以FP32精度优化DWC的原始GEMV形式,然后将其扩展到混合精度Tensor Core。这种分离是刻意的:它隔离了基于GEMV的优化的贡献,并为后续的GEMV到GEMM变换奠定了基础。

我们的设计以数据重用为中心,但其有效性依赖于布局、工作负载分块和访问顺序:(i)工作负载分块创造重用机会,并利用统一的通道在后布局实现128字节访问;(ii)滤波器重用利用空间位置间共享的滤波器;(iii)宽度优先的输入重用在重叠补丁间保持访问连续性。

图2展示了我们如何将朴素DWC1的算术强度从1提升至超过15。

**图2. 基于GEMV的Flash-DWC内核的算术强度(η,操作/元素)。**(a)逐步优化带来的强度(η)增长。(b)最终强度与滤波器宽度FW的关系。

**3.1 工作负载分块**

我们将输出张量Y∈?^(N×OH×OW×OC) 分块为连续的BN个通道和BM个批量-空间位置,总共分为(OC/BN)×(N×OH×OW/BM)个块。由于OC、N、OH、OW的乘积变化小于其各个因子,这种分块方式在不同层之间保持了稳定的块数。

我们为每个块配置4个warp以充分占用每个流式多处理器(SM)上的4个warp调度器。在warp内部,我们将32个线程排列为8×4的模式:(i) 8个线程使用128位指令对32个连续通道执行128字节的合并加载,最大化内存事务粒度;(ii) 4个线程获取相邻的输入补丁,形成输入重用的重叠。为了最大化跨warp的输入补丁重叠,我们将BN设置为32,恰好是每个warp的通道数,因此所有4个warp完全跨越批量-空间维度。

**3.2 通过GEMV实现滤波器重用**

我们利用DWC的GEMV结构来重用滤波器数据。如图3(a)所示,每个线程被分配跨4个通道的TM个连续空间位置。在每个通道内,所有TM个位置共享相同的滤波器,因此加载一个滤波器元素即可对对应的输入元素执行TM次融合乘加(FMA)。这将算术强度提升至 2TM/(TM+1)(>1),并随TM增大而增长。过大的TM会减少活跃线程数并损害延迟隐藏,因此我们通过实验将TM设为8,得到算术强度≈1.78。

**图3. GEMV中单个通道内的滤波器重用。**(a)在一个线程内,一个滤波器元素在TM个不同空间位置的内积中被重用;x_i,j(t)表示第t个内积中滤波器偏移(i,j)处的输入元素。(b)在一个块内,512/BN个线程协作将滤波器片段加载到SMEM中,然后重用共享片段来计算各自的TM个内积。

为了进一步提高滤波器重用,我们应用块级协作。如图3(b)所示,对于每个通道,所有512/BN个线程共享相同的滤波器。因此,它们协作将滤波器片段加载到共享内存(SMEM)中,从而将许多线程级的GEMV合并为更大的块级GEMV。算术强度随后提升至 2TM/(TM+BN/512)。当BN=32且TM=8时,该值约为1.98,接近理论最大值2.3。

**3.3 跨重叠补丁的输入重用**

虽然滤波器重用已达到最大,但输入重用仍然是主要瓶颈。与滤波器不同,输入补丁的足迹随空间维度和批量大小扩展,因此更难保留在片上内存中。幸运的是,相邻输入补丁之间存在相当大的重叠,尤其是在步长为1的卷积中。现代CNN通常仅在阶段边界处使用相对较少的步长为2的卷积进行下采样,且通常使用较小的滤波器。在每个阶段内,重复的步长为1的DWC块保持空间分辨率,在相同尺度上细化特征,并通常使用更大的滤波器来扩展感受野。因此,步长为1的DWC主导了许多CNN工作负载,使得输入重叠重用在广泛适用。

在每个通道内,我们评估了图4中说明的两种重用方法。(i) 矩形重用利用高度和宽度两个方向的重叠,提供更高的理论重用率。然而,它从非连续行加载元素(行间间隔为IC×IW),且操作模式在不同迭代间变化。跨高度轴迭代重用数据需要额外的O(TM×FW)存储空间来保留多行,或者重新排列跨维度的遍历顺序,这会破坏内存连续性。(ii) 宽度优先重用虽然仅限于宽度轴的重叠,但保持完全连续的内存访问且对缓存友好。在完成初始批量加载后,后续迭代操作统一,所持有的数据简单地移位并用于下一次迭代。

**图4. 单个通道内的矩形重用和宽度优先重用方法。** 此示例展示了3×3滤波器的第0次到第8次累加步骤。蓝色表示当前迭代加载的元素;灰色表示从上一次迭代重用的元素;黄色标记本迭代持有但未使用的元素。

鉴于我们的配置TM=8,宽度优先重用加载Nw=FW×(FH+8?1)个输入元素,而矩形重用(2×4)加载Nr=(FH+2?1)×(FW+4?1)个元素,且数据重用需要至少多25%的存储空间。对于FH,FW≥3,比率Nw/Nr最大为1.25,意味着宽度优先重用最多产生25%的额外加载,同时保持简洁性和访问连续性。因此我们选择宽度优先重用。为实现它,我们将任何2D滤波器∈?^(FH×FW) 分解为FH个1D单元∈?^(FW),用每个单元执行1D DWC,并累加结果。该方法可推广到高维DWC,将其视为1D DWC的序列。

我们使用寄存器而非SMEM来实现宽度优先重用。寄存器提供最低延迟的操作数访问并直接供计算流水线使用,而SMEM有约30周期的延迟且与L1缓存共享资源。最小化SMEM使用可保留L1容量并允许每个SM上有更多活跃块,增强占用率。由于每个线程维护私有的输入重用窗口,SMEM暂存会引入额外的加载/存储指令和地址计算开销。由于每个线程每个通道处理TM个相邻输入补丁,我们分配4TM个寄存器用于累加,另分配4TM个寄存器用于缓存输入元素。此寄存器分配恰好满足每个GEMV的需求,并与cuBLAS GEMM内核的寄存器占用相匹配,维持高占用率。

**3.4 基于GEMV的内核工作流程**

我们将上述设计整合为一致的工作流程,如图1所示。主循环在两个关键函数Prefetch和GEMV之间交替执行。

**Prefetch.** 每个块加载FW×BN的滤波器块和BM×BN的输入块,其中每个线程加载跨TM个空间位置、4个通道的TM×4个输入元素。滤波器加载使用cp.async.cg PTX指令,该指令发出显式commit/wait控制的异步全局到SMEM复制。这避免了通过寄存器进行暂存并实现了更细粒度的软件流水线,与标准加载相比性能提升约8%。对滤波器SMEM数组W进行双缓冲可将Prefetch与GEMV重叠,再带来约5%的性能增益。为避免bank冲突,我们将W的最后一维填充128位。

**GEMV.** 每个分解后的1D DWC作为具有FW次累加迭代的GEMV执行,这些迭代通过C++模板在编译时展开。从第二次迭代开始,每个线程从其寄存器缓存X中重用4×(TM?1)个元素并仅加载4个新输入元素,每次迭代仍执行TM次FMA。结合滤波器重用,算术强度变为 2TM/(1+(TM?1)/FW+BN/512),随FW增大而增加,如图2(b)所示。当BN=32且TM=8时,强度在FW→+∞时趋近于15.06。

对于CUDA Core路径,当FW≤51时,缓存滤波器数据使用的SMEM不到可用量的10%,将大部分片上内存留给L1缓存。Nsight测量表明,当FW≤9时L1缓存命中率可超过80%,当FW≤51时仍保持50%以上。由于L1带宽比全局内存高10倍以上,实际算术强度显著高于仅从全局内存访问次数估算的值。

**4 基于GEMM的混合精度深度可分离卷积**

虽然基于GEMV的优化显著提升了FP32吞吐量,但性能最终受CUDA Core峰值限制。为实现更高效的混合精度DWC,我们利用Tensor Core,这需要一个根本性的转变:将DWC原生的GEMV转换为GEMM。

在第3节基于GEMV的设计基础上,我们将其适配为FP16/FP32混合精度,这是DNN训练的标准做法。该扩展依赖于三个关键创新:(i) 针对DWC的多通道、大滤波器设置量身定制的56.25%稠密GEMV到GEMM变换;(ii) 通过矩阵压缩和宽度优先输入重用最小化GEMM冗余,大幅减少SMEM使用并提升算术强度;(iii) 双路径拆分GEMM流水线,在保持重用模式的同时将50%的计算与数据加载重叠。图5展示了我们如何将算术强度从1提升至超过40。

**图5. 基于GEMM的Flash-DWC的算术强度(?,操作/元素)。**(a)逐步优化带来的强度(?)增长。(b)最终强度与滤波器宽度FW的关系:Flash-DWC表示基于GEMV的CUDA Core内核,Flash-DWC-T1、-T2和-T4为基于GEMM的Tensor Core内核。

**4.1 面向Tensor Core**

FP16/FP32混合精度使用FP16存储张量和执行乘法以提高效率,同时使用FP32累加以保证数值稳定性。对于DWC,FP32累加是必不可少的:由于精度和动态范围有限,纯FP16累加可能导致不可接受的精度损失。当张量从均匀分布U(?1,1)采样时,FP16累加DWC的平均绝对相对误差(MARE)超过1%,有时超过10%(相对于FP64真值);而FP16/FP32维持MARE在10^(?3)量级,满足典型训练要求。这一结果表明FP32累加有效控制了数值误差;剩余的挑战是在GPU上高效执行混合精度DWC。

然而,CUDA Core上的FP16/FP32 DWC面临硬件约束。大多数GPU架构(如Ampere、Ada、Hopper)未在CUDA Core上提供原生混合精度FMA,因此每次FMA都需要显式的FP16到FP32转换。这将吞吐量限制在FP32 CUDA Core上限,低于某些GPU上更高的FP16峰值;同时也浪费了计算周期在数据类型转换上,使得对于大滤波器,FP16/FP32 DWC比FP32 DWC更慢,如图6所示。

**图6. Flash-DWC内核的吞吐量对比。** 滤波器大小(FH=FW,x轴)范围从3到51。吞吐量(y轴)以TFLOPS为单位。子图标题指示GPU和NHWC格式的feature map尺寸。Flash-DWC表示基于GEMV的CUDA Core内核;Flash-DWC-T1、-T2和-T4表示基于GEMM的Tensor Core内核。

为克服CUDA Core的局限性,我们面向Tensor Core,后者原生支持更高吞吐量的FP16/FP32 GEMM。这还避免了FMA与辅助任务之间的资源争用:Tensor Core处理FMA,而辅助任务(如地址计算、条件分支)仍在CUDA Core上执行。此后,我们将FP16/FP32混合精度简称为FP16,并将Tensor Core内核标记为Flash-DWC-T。如图6所示,Flash-DWC-T明显优于FP16和FP32 CUDA Core内核。

**4.2 GEMV到GEMM的变换**

如第2.2节所述,将DWC的GEMV朴素填充为GEMM会浪费矩阵的7/8列。类似的挑战也出现在模板计算中,近期工作[3, 19]将模板GEMV转换为具有超过50%稠密度的GEMM。然而,这些方法不适合DWC,因为底层张量形状根本不同。模板操作针对单通道和中等滤波器大小,而DWC涉及数百或数千个通道(如1024、2048),且可使用31×31或更大的滤波器[2, 7, 20]。

这些差异同时影响滤波器和输入变换。

**(i) 滤波器变换:** 模板滤波器小且为单通道,因此变换后的滤波器矩阵可以完全驻留在常量内存缓存[3, 19]中甚至寄存器中[21]。虽然变换本身复杂并引入了矩阵冗余,但其开销可忽略不计:规模小,在内核启动前执行一次,且结果矩阵在多次启动间全局共享。相比之下,在DWC中,即使3×3多通道滤波器也可能超过64 KB的常量内存限制。此外,由于每个块处理128字节的通道段以最大化内存事务粒度,大于8×8的滤波器会溢出每个SM的8 KB常量缓存。因此,DWC必须将滤波器分割为片段并将变换结果缓存到更大的SMEM中,后者在许多新GPU上可提供每SM 128 KB或更多。

**(ii) 输入变换:** 模板方法通过收集具有不规则空间偏移的输入元素来构建输入矩阵。这是可行的,因为所有访问元素位于同一通道且在内存中邻近;偏移量也可以预先计算为完全适配缓存的查找表。然而在DWC中,大量通道引入了空间位置之间的长内存步幅,使得这种不规则的基于表的收集效率低下。为了最大化带宽,DWC要求沿通道轴的合并加载和沿宽度轴的连续访问。

DWC的实用GEMV到GEMM变换必须满足三个要求:(i) 将滤波器和输入补丁分割为片段,即时变换并将结果以最小冗余缓存到SMEM中,以释放片上资源;(ii) 将片段变换与GEMM计算重叠,保持变换简洁以减少GEMM间的延迟;(iii) 与我们宽度优先的输入重用对齐以增强算术强度并保持访问连续性。

我们的变换将一批M个GEMV打包为一个GEMM。每个GEMV作用于TM个相邻输入补丁,所有GEMV共享一个1D滤波器片段∈?^(Ffrag)。图7说明了该变换:

**图7. DWC的GEMV到GEMM变换。** 16个空间相邻的GEMV,每个为8×9矩阵与长度为9的向量之间的运算,被打包为适合Tensor Core的m16n8k16 GEMM。

在此,GEMV[i] 表示打包批次中的第 i 个 GEMV。(i)滤波器变换:我们将滤波器片段扩展为滤波器矩阵 ∈R^K×T_M,其中第 i 列放置从索引 i 开始的片段,其余位置用零填充至长度 K,其中 K = T_M·F_frag ? 1。(ii)输入变换:对于每个 GEMV,我们将其 T_M 个输入块压缩为长度 K 的向量,其中 K 是不同输入元素的总数。将所有 M 个这样的向量按行堆叠得到输入矩阵 ∈R^M×K。在生成的 GEMM 中,输入矩阵是稠密的,而滤波器矩阵的密度为 F_frag/K = 1 ? (T_M?1)/(F_frag+T_M?1)。对于 FP16/FP32 GEMM,Tensor Core 支持 m8n8k4、m16n8k8 和 m16n8k16 的形状。我们舍弃 m8n8k4,因为其算术强度较低。由于较大的 F_frag 带来更高的密度,我们选择 m16n8k16 并将 {M, T_M, F_frag} 设为 {16, 8, 9},达到 56.25% 的密度(4096 个 FMA 中有 2304 个非零 FMA)。此密度是朴素填充的 4.5 倍,与模板变换的密度相当 [3, 19]。维持第 3.3 节中的宽度优先分解,我们将任何 2D 滤波器分割为 F_H × ?F_W/9? 个宽度为 9 的片段,并累加其 1D DWC 结果。

### 4.3 GEMM 冗余最小化

采用与第 3.1 节相同的分块方法,我们将工作量划分为 OCBNNOHOWBM 块,每个块包含 4 个 warp。由于 FP16 相比 FP32 将数据量减半,我们将每个线程(从 4 到 8)和每个 warp(从 32 到 64)处理的通道数加倍,以维持 128 字节的内存事务。相应地,我们设置 BN = 64 和 BM = 128,在最大化输入块重叠的同时匹配 m16n8k16 GEMM 的 16×8 分块尺寸。将多个 GEMV 打包到 GEMM 中将算术强度提升至 4096·0.5625/(256+128) = 6,但仍低于我们 CUDA Core 内核的算术强度。此外,在 SMEM 中存储完整的滤波器和输入矩阵需要 256BN 和 4BNBM 字节,这达到了 48 KB 的静态分配上限,可能降低占用率和 L1 缓存容量。为解决这两个问题,我们通过两种优化减少 GEMM 冗余:(i)压缩 SMEM 中的输入和滤波器矩阵,并在寄存器中即时重建它们以进行 Tensor Core GEMM;(ii)适配宽度优先的输入复用,以最小化从全局内存加载矩阵数据的次数。

在滤波器矩阵 ∈R^16×8 中,9 元素的滤波器片段在 8 列中重复,如图 8(b) 所示。因此我们以非重复格式存储它:在片段两侧各填充 7 个零,得到 23 元素向量。要重建第 i 列,只需从索引 i 处提取 16 个连续元素,无需 warp 分歧。这将滤波器矩阵的存储开销降低至仅 46BN 字节,为原始大小的 18%,使总 SMEM 使用量降至 34.9 KB。我们将填充后的滤波器片段初始化为零,并让块中的线程协作将滤波器数据加载到 SMEM 以最大化数据复用。这将算术强度提升至 4096·0.5625/(256+F_W/γ) > 8.69,其中 γ = ?F_W/9? 是每个滤波器行的宽度为 9 的片段数量。

**图 8. 共享内存中的矩阵压缩。** (a) 输入矩阵:当 θ = 4 且 O_W ≥ 32 时,四行连续行共享 3×8 个重叠元素,因此 16×16 的输入矩阵被压缩为五个 4×8 缓冲区。(b) 滤波器矩阵:以 23 元素向量存储以消除列冗余。

在输入矩阵 ∈R^16×16 中,当 O_W ≥ 16 时,相邻行在宽度轴上重叠 8 个元素,如图 8(a) 所示。因此当 O_W ≥ 8θ 时,我们将 θ 个连续行从 16θ 个元素压缩为 8(θ+1) 个元素,存储在 (θ+1) 个宽度为 8 的输入 SMEM 缓冲区中。这将算术强度提升至 4096·0.5625/(128(1+θ?1/θ)+F_W/γ)。我们将 θ = 1、2、4 的 Tensor Core 内核分别记为 Flash-DWC-T1、-T2 和 -T4。T2 和 T4 的算术强度分别为 11.96 和 14.35,同时将 SMEM 使用量降至 26.9 KB 和 22.9 KB。在为 SMEM 填充以避免银行冲突后,Flash-DWC-T 在每个 SM 上留有超过 70% 的片上内存可供并发块和 L1 缓存使用。

我们在 SMEM 中实现宽度优先的输入复用以适应 Tensor Core GEMM。由于每个 GEMM 操作于宽度为 9 的滤波器片段和输入矩阵的 16 元素行,我们可以为下一次 GEMM 迭代复用每行的 7 个输入元素。为了最大化复用同时避免 warp 分歧,前 (θ?1) 个缓冲区复用下一缓冲区的 7 个元素并从 X 仅加载 1 个新元素,而最后一个缓冲区加载 8 个新元素。这将算术强度提升至 4096·0.5625/(128(θ?1/θ)+112/(γ?1)+16+F_W/γ),该强度随 F_W 增大而增大,如图 5(b) 所示。对于 T4,当 F_W ≥ 3 时强度超过 13.6,当 F_W ≥ 11 时超过 20.4。当 F_W → +∞ 时,T2 和 T4 的强度分别趋近于 25.88 和 40.42,远高于 CUDA Core 内核的 15.06 上限。

### 4.4 基于 GEMM 的内核工作流程

我们将基于 GEMV 的设计和 GEMV 到 GEMM 的变换整合为 Flash-DWC-T 的连贯工作流程,如图 2 所示。主循环(第 4–11 行)首先沿高度轴迭代。每个高度轴迭代包含 ?F_W/9? 个宽度轴迭代,这些迭代通过 C++ 模板在编译时展开。由于每个块处理 BN 个通道,每次迭代执行一批 BN 个 m16n8k16 GEMM,每个通道一个。

**软件流水线。** 我们的 GEMV 到 GEMM 变换通过偏移映射和数据加载实现。为将数据加载与 GEMM 计算重叠,我们将每个 BN 批次的 m16n8k16 GEMM 拆分为两个 m16n8k8 子单元,分别记为 GEMM1 和 GEMM2,如图 9 所示。此分解形成双路径拆分 GEMM 流水线,由 Prefetch1→GEMM1 和 Prefetch2→GEMM2 组成。可以将其视为双缓冲的广义形式。然而,与分块 GEMM 内核中标准的双阶段乒乓缓冲不同,两条路径是非对称的,并使用部分重叠的 SMEM 区域。具体来说,GEMM1 使用第一个 θ 个输入 SMEM 缓冲区和填充后滤波器片段的前 8 个非零元素,而 GEMM2 使用最后 θ 个缓冲区和后 8 个非零元素。

**图 9. 双路径拆分 GEMM 流水线。** 虚线框显示 BN 批次中的一个代表性 GEMM。每个 m16n8k16 GEMM 对应一个通道,并被拆分为两个 m16n8k8 子单元。箭头表示数据依赖关系;迭代间的同步通过重叠 SMEM 上的数据复用来强制执行。

在每次迭代中,Prefetch1 和 Prefetch2 作为两组异步加载发出。GEMM1 在 Prefetch1 完成后启动,而 Prefetch2 并行进行。GEMM2 则在 GEMM1 和 Prefetch2 都完成后启动。由于这两个子 GEMM 单元共享重叠的 SMEM 区域,下一次迭代的 Prefetch1 必须等待前一次 GEMM2 释放这些区域。即便如此,此流水线在单个块内将 50% 的 GEMM 计算与数据加载重叠。此外,低 SMEM 使用量使得多个块可以在一个 SM 上并发执行,进一步在不同块之间重叠数据加载与 GEMM 计算。

**数据加载。** 对于输入元素,我们使用 cp.async.ca PTX 指令,该指令将数据缓存在 L1 中以复用 SM 内的输入块重叠。滤波器元素没有空间重叠,因此我们用 cp.async.cg 加载它们,该指令仅在 L2 中缓存,从而为输入元素保留 L1 容量。在第一个宽度轴迭代之前,我们将初始大批输入元素加载到 SMEM 中(第 5 行)。在每个宽度轴迭代中:Prefetch1 复用输入 SMEM 缓冲区来准备 GEMM1 所需的 (T_M?1)/T_M = 7/8 输入元素,并从全局内存加载剩余的 1/T_M = 1/8。同时,Prefetch2 为 GEMM2 加载最后一个输入 SMEM 缓冲区。我们在输入 SMEM 缓冲区之间不是复制数据,而是循环重新编号缓冲区并相应更新其访问索引,如图 10 所示。

**图 10. 用于输入复用的循环缓冲区重新编号(无需显式数据复制)。** 蓝色箭头表示为数据复用而移动缓冲区。在每次迭代中,数字 0–7 表示每个缓冲区内的访问索引;新加载和复用的元素分别用红色和黑色字体表示。单元格颜色跟踪每个元素首次加载所在的缓冲区,复用的元素在迭代间保留其颜色。

对输入特征图的零填充是隐式处理的。配合谓词掩码,cp.async 跳过零填充区域并向 SMEM 写入零,从而避免 warp 分歧。为了节省寄存器并增强活跃线程数,我们将每批 32 个谓词掩码压缩为一个 32 位整数,每个空间位置使用一个位。由于 F_W 和填充大小是常数,宽度轴的谓词掩码是预计算并跨所有高度轴迭代复用的。此外,我们扫描每个块以检测所有线程在高度轴上是否共享相同的填充零。如果是,我们将高度轴迭代修剪以排除这些共享的零,使用 F_Hs(≥0)和 F_He(< F_H)作为起始和结束位置(第 4 行)。这在不会引入 warp 分歧的情况下略微减少了零填充开销。

**GEMM 计算。** GEMM1 和 GEMM2 各自计算一批 BN 个通道级 m16n8k8 GEMM。每个 warp 在 Tensor Core 上执行 BN/4 个 mma.sync.aligned.m16n8k8 PTX 指令。为避免银行冲突,我们在 SMEM 数组 W 和 X 的最后一个维度上填充 128 位。在主循环之后,我们通过 SMEM 置换寄存器矩阵 V(第 12 行),并将得到的 BM×BN DWC 块以 128 字节事务存储到全局内存中。

### 为什么不用稀疏 Tensor Core?

尽管稀疏 Tensor Core(例如在 SparStencil [19] 中使用)的理论吞吐量是稠密 Tensor Core 的两倍,但它们不适合 DWC。首先,其支持的最小 GEMM 形状 m16n8k16 将迫使我们放弃双路径拆分 GEMM 流水线,而该流水线能将 50% 的 GEMM 计算隐藏在数据加载之后。其次,即使我们重新组织数据流以满足 2:4 稀疏性,GEMM 运行时减少也最多为 43.75%,尚未考虑额外的开销和数据访问连续性的丧失。由于 DWC 本质上是内存受限而非计算受限的,切换到稀疏 Tensor Core 将牺牲内存延迟隐藏以换取微乎其微的计算收益,最终降低整体性能。

### 5 将 Flash-DWC 扩展到 CNN 训练

基于第 3 和第 4 节的优化内核,我们将 Flash-DWC 扩展到完整的 CNN 训练,并将其集成为 PyTorch 2.10 [36] 的即插即用库,其中 flashdwc.ops 用于操作调用,flashdwc.nn 用于模型构建。

#### 5.1 反向传播

前向卷积(FC)直接被 Flash-DWC 内核支持。训练还需要两个反向算子:(i)反向数据卷积(BDC),它用输出梯度 ?Y 与转置滤波器 W^T 卷积以计算输入梯度 ?X;(ii)反向滤波器卷积(BFC),它用输入特征图 X 与 ?Y 卷积以计算滤波器梯度 ?W。由于 BDC 在旋转滤波器后具有与 DWC 相同的结构,它可以复用 Flash-DWC 内核。主要挑战在于 BFC:其小的输出张量导致并行度不足,且不匹配原始内核的分块方法。图 11 展示了 Flash-DWC 如何支持所有三个阶段。

**图 11. Flash-DWC 用于 CNN 训练。** FC 和 BDC 同时利用 Tensor Core 和 CUDA Core 内核。对于 BFC,我们通过将 ?Y 分块为 Z 个子 BFC 来增加并行度,并原子累加其结果。如图所示,每个具有 11×11 输出的子 BFC 产生 6 个块:mega 内核通过组合两个 TM = 2 和 9 的内核来匹配 F_W = 11;β = 4 最小化了 F_H 轴的填充。

**BDC 实现。** 我们将 W 旋转 180° 得到 W^T,然后在 W^T 和 ?Y 上执行 Flash-DWC 内核。由于旋转开销可以忽略不计,BDC 实现了与 FC 相似的性能,同样受益于 Tensor Core。

**累加轴并行化。** BFC 的输出 ?W ∈ R^{F_H×F_W×O_C} 仍然很小,且不会随批大小或空间分辨率扩展。这与 FC 和 BDC 形成对比,后者的输出较大,自然能提供充足的并行度。如果我们仅通过将 ?W 分块来并行化 BFC,所产生的块数量太少,无法充分利用硬件。我们通过沿累加轴并行化来解决这个问题。具体来说,我们将 ?Y 分割为 Z 个瓦片,并将每个瓦片作为独立的子 BFC 处理。这使并行度提高 Z 倍,但引入了通过 FP32 原子加法合并子 BFC 结果的额外开销。为了平衡这两个效应,我们根据 DWC 参数和 SM 数量动态决定 Z。如果累加长度不能被 Z 整除,我们将余数附加到最后一个瓦片,并调整 Z 以最小化此余数以实现均衡的工作负载。我们通过一次性性能分析步骤进一步优化 Z,该步骤测量性能并选择最佳值。

**灵活分块。** BFC 的不规则输出形状与原始 Flash-DWC 内核的分块方法不匹配。当 BM = 128 时,这些内核将空间维度分块为 16×8、8×16 或 4×32。这些形状非常适合通常较大且为 8 的倍数的特征图(例如 112×112、64×64)。然而,BFC 的输出 ?W 具有奇数空间维度,且这些维度较小或与这些分块对齐不良,导致大量零填充和不必要的计算。

Flash-DWC-T 将 BM 固定为 128 以支持 m16n8k16 GEMM,其宽度为 9 的片段经常与 BFC 累加块对齐不一致。相比之下,我们的 CUDA-Core 内核基于 GEMV,不受 Tensor-Core 形状约束。因此,我们通过灵活的平铺策略对其进行适配,以更好地匹配 BFC 形状并最大限度地减少零填充。我们将 TM(每个线程处理的空间位置数)从 1 到 9 变化,并将具有不同 TM 值的两个内核融合为一个宏内核,以无缝匹配任意 FW。由于累加长度 NOHOW 通常是 8 的倍数,我们以长度 8 为单位进行处理,并将每个块组织为 β×8 个线程:(i)沿通道轴,8 个线程执行 128 字节的合并加载;(ii)沿 FH 轴,β 个线程重用补丁重叠部分,协作加载一个长度 8 的单位以进行全块 GEMV。我们选择 β∈{4,8}:两者都能整除 8,并使总线程数保持为 32 的倍数,从而避免非活跃线程束通道。在这两者之间,我们选择沿 FH 轴零填充最少的那个;如果两者给出的零填充相同,我们取较大值以最大化补丁重叠。

**混合累加。** 它作为可选优化来加速混合精度 BFC:每个子 BFC 以 FP16 累加,最终结果以 FP32 合并。这避免了显式数据类型转换,减少了寄存器使用,并利用某些 GPU 上更高的 FP16 CUDA-Core 吞吐量。其精度仍然可接受,原因有二。(i)BFC 的长累加长度可以拆分为许多(例如 ≥128 个)短子单元。每个子单元以 FP16 累加限制了误差增长,而以 FP32 合并结果则受益于更大的尾数和动态范围,很大程度上防止了精度损失和数值溢出。(ii)与 FC 和 BDC 不同(对称权重初始化最大化正负抵消),BFC 的输入 X 和 ?Y 由于激活函数和损失函数的非线性而在零附近不太对称。这减少了 FP16 舍入误差。第 6.3 节显示混合累加与全 FP32 累加之间具有相似的收敛性。

**5.2 内核融合**

DWC 通常跟随批归一化(BN)和激活函数(Act),形成一种常见模式:BN+Act+DWC。对于计算单元未完全饱和的小过滤器,我们提供了将 BN 和 Act 可选地融合到 Flash-DWC 内核中的功能,以利用空闲周期并减少数据移动。我们在 CUDA-Core 内核上实现这种融合,这些内核在寄存器中缓存输入数据,因此非常适合在 DWC 之前即时计算 BN 和 Act。尽管存在由于平铺重叠而导致的重计算,但增加的负载仍然低于计算瓶颈阈值,因此对于小过滤器,融合内核的延迟与对应的未融合 DWC 内核几乎相同。

**6 评估**

我们首先评估 CUDA-Core 内核以验证我们基于 GEMV 的数据流协同设计,并分析从内存瓶颈向计算瓶颈操作的转变。然后我们评估基于 GEMM 的 Tensor-Core 内核,以展示从 GEMV 到 GEMM 的转换如何进一步提升 CUDA-Core 性能上限。最后,我们在 ImageNet-1K 上端到端 CNN 训练中评估 Flash-DWC,测量加速比和收敛性。

**6.1 FP32 CUDA-Core 内核评估**

**6.1.1 实验设置。** 我们在 RTX 4090 和 A100 80GB 上进行评估,涵盖 Ada-Lovelace GeForce 和 Ampere 数据中心 GPU。我们将 Flash-DWC 与 DWC 基线和计算瓶颈参考进行比较:(i)cuDNN 9.18:我们在 cuDNN 中启用 Tensor-Core 和 CUDA-Core 算法。CuGEMM-DWC 表示其直接算法和基于 GEMM 的算法中最快的那个;CuFFT-DWC 表示其基于 FFT 和 Winograd 的算法中最快的那个。(ii)Inductor-DWC:由 PyTorch 2.10 torch.compile 使用 Inductor 后端和 max-autotune 生成。(iii)cuBLAS-GEMM:它不是 DWC 实现,但作为计算瓶颈参考,用于衡量 Flash-DWC 接近 CUDA-Core 性能上限的程度。其维度设置为 m=n=k,其中 2m3≈2NOHOWOCFHFW,使其总 FLOPs 与 DWC 匹配。DWC 参数遵循常见的 CNN 配置。(i)过滤器从小的 3×3 [12, 13, 39] 到超大的 51×51 [2, 20],涵盖代表性尺寸如 7×7 [25, 41, 44]、9×9 [8, 41] 和 31×31 [7]。(ii)特征图按 NHWC 顺序进行系统性缩放:128×128×128×128、128×64×64×256 和 128×32×32×1024。这些尺寸足够大以饱和 GPU 并行性,并在测试之间保持可比的工作负载。

**6.1.2 结果与扩展分析。** 图 12 中所有吞吐量值均为预热运行后 500 次运行的平均值。图 13 展示了随着过滤器尺寸增大运算强度增加,CUDA-Core Flash-DWC 内核的吞吐量及其相对于 cuBLAS-GEMM 的吞吐量如何扩展。

图 12. FP32 吞吐量。过滤器尺寸(FH=FW,x 轴)范围为 3 到 51。吞吐量(y 轴)以 TFLOPS 为单位。子图标题列出 GPU 类型和 NHWC 格式的特征图维度。

图 13. FP32 CUDA-Core Flash-DWC 内核随运算强度的扩展。过滤器尺寸(x 轴,FH=FW)范围为 3 到 51。左 y 轴显示以 TFLOPS 为单位的吞吐量。右 y 轴显示两个归一化指标:运算强度比(相对于渐近极限的强度);以及 Flash-DWC 相对于计算瓶颈 cuBLAS-GEMM 的吞吐量。所有值均在特征图维度上取平均。

Flash-DWC 表现出随着过滤器尺寸增大从内存瓶颈向计算瓶颈操作的明显转变。该趋势符合我们的运算强度模型 2TM/(1+(TM?1)/FW+BN/512),并得到硬件测量的验证。

对于小过滤器(FW≤9),内核仍处于内存瓶颈状态。在此模式下,(TM?1)/FW 项占主导地位,因此运算强度和吞吐量都随 FW 快速增加。因此,运行时间的增长速度远慢于 O(FHFW) 的 FLOP 数量:将过滤器从 3×3 增加到 7×7 仅使运行时间延长 2.2 倍,尽管 FLOPs 增加了约 5.44 倍。在此情况下,A100 由于更高的内存带宽(约 2 TB/s 对比约 1 TB/s)而优于 RTX 4090,证实内存流量是主要性能瓶颈。

对于较大的过滤器,运算强度曲线逐渐趋于平缓,而吞吐量和相对于 cuBLAS-GEMM 的吞吐量持续上升。这意味着 Flash-DWC 不仅在绝对速度上变快,而且逐步接近计算瓶颈行为。在两款 GPU 上,当 FW≥13 时,Flash-DWC 达到 cuBLAS-GEMM 吞吐量的 65%;在 A100 上,当 FW≥15 时超过 90%,表明更高的运算强度推动 DWC 接近 CUDA-Core 性能上限。屋顶线交叉点出现在 FW≥11 处,此时 Flash-DWC 在更高 FLOP 的 RTX 4090 上的吞吐量(82.6 TFLOPS)超过在更高带宽的 A100 上的吞吐量(19.5 TFLOPS),表明瓶颈已从内存带宽转变为计算能力。

这种转变转化为对所有 DWC 基线的显著提升。Flash-DWC 比最快的 cuDNN DWC 算法快 1.08×–8.48×(平均 5.09×),比 CuGEMM-DWC 快 1.08×–8.72×(平均 5.98×),比 CuFFT-DWC 快 1.73×–83.05×(平均 13.90×),比 Inductor-DWC 快 2.65×–11.51×(平均 5.65×)。在汇总加速比中,平均值表示算术平均。相应的几何平均加速比分别为 4.67×、5.62×、9.48× 和 5.42×。由于 RTX 4090 的 CUDA-Core 峰值更高,其加速比更大:例如,相对于 CuGEMM-DWC,Flash-DWC 实现了 6.34× 的平均加速比,而 A100 上为 5.61×。Flash-DWC 也从更小的特征图中获益,更高的缓存命中率提高了吞吐量。

**6.2 FP16 Tensor-Core 内核评估**

**6.2.1 实验设置。** 我们使用与第 6.1 节相同的基线、DWC 参数集和 GPU,只是所有 DWC 基线现在在 FP16 张量上运行。对于 cuDNN,我们报告其在 FP16 和 FP32 累加模式下的最快结果。FP32 cuBLAS-GEMM 仍然是计算瓶颈参考,因为 CUDA Core 上的 FP16/FP32 DWC 需要显式的 FP16 到 FP32 转换,因此受限于 FP32 吞吐量而非名义 FP16 峰值,如第 4.1 节所述。在 RTX 4090 上,这一选择得到了进一步证实,因为其 FP16 和 FP32 CUDA-Core 峰值相同。我们使用 cuBLAS-GEMM 来评估 Flash-DWC-T 是否超越了 CUDA-Core 性能上限。

**6.2.2 结果与扩展分析。** 图 14 中所有吞吐量值均为预热运行后 500 次运行的平均值。图 15 展示了随着过滤器尺寸增大运算强度增加,Flash-DWC-T4 的吞吐量及其相对于 cuBLAS-GEMM 的吞吐量如何扩展。

图 14. FP16 吞吐量。过滤器尺寸(FH=FW,x 轴)范围为 3 到 51。吞吐量(y 轴)以 TFLOPS 为单位。子图标题列出 GPU 类型和 NHWC 格式的特征图维度。所有 DWC 算法在 FP16 张量上运行;cuBLAS-GEMM 为 FP32,作为 CUDA-Core 性能上限的参考。

图 15. FP16 Flash-DWC-T4 随运算强度的扩展。过滤器尺寸(x 轴,FH=FW)范围为 3 到 51。左 y 轴显示以 TFLOPS 为单位的吞吐量。右 y 轴显示两个归一化指标:运算强度比,定义为相对于渐近极限的强度;以及 Flash-DWC-T4 相对于 CUDA-Core cuBLAS-GEMM 的吞吐量。超过 100% 的值表示 Tensor-Core 加速超越了 CUDA-Core 计算上限。所有值均在特征图维度上取平均。

与其 CUDA-Core 对应版本相比,Flash-DWC-T 实现了 0.96×–4.35× 的加速(平均 2.01×)。唯一低于 1 倍的情况出现在 3×3 过滤器上。更一般地说,对于小过滤器(FW≤7),CUDA-Core 和 Tensor-Core 内核都处于内存瓶颈状态,因此表现出相似的吞吐量。然而,随着过滤器尺寸增大运算强度增加,Flash-DWC-T 提升快得多,因为 Tensor Core 提供更高的吞吐量并避免了显式的 FP16 到 FP32 转换。相比之下,在 A100 上,对于大过滤器,CUDA-Core 内核的吞吐量甚至略有下降,因为一旦 CUDA Core 饱和,数据类型转换就会与 FMA 争夺计算周期。

如图 15 所示,Flash-DWC-T 吞吐量遵循其运算强度模型 4096?0.5625/(128θ?1+112γ?1+16+FW/γ),并紧密跟踪其相对于 cuBLAS-GEMM 的吞吐量。吞吐量也以 9 为步长递增,反映了优先按宽度分解为宽度 9 的片段。在三种 Tensor-Core 配置中,Flash-DWC-T4 实现最高吞吐量,其次是 T2,然后是 T1。这种排序与它们的输入矩阵压缩比一致:更大的 θ 产生更高的运算强度和更低的共享内存使用量。综合来看,这些结果表明运算强度仍然是 Tensor Core 上性能的主要预测指标,正如在 CUDA-Core 内核中一样。

对于中等大小的过滤器,Flash-DWC-T 在两款 GPU 上甚至超过了 cuBLAS-GEMM 吞吐量。一旦 Flash-DWC 大幅缓解了 DWC 在 CUDA Cores 上的内存瓶颈,主要限制不再是内存流量而是 CUDA-Core 计算吞吐量。Tensor-Core 加速提升了这一上限,使 DWC 吞吐量能够继续突破 CUDA-Core GEMM 参考线。从这个意义上说,超越 cuBLAS-GEMM 反映了从内存带宽到计算吞吐量的转变,并说明了为什么 Tensor Cores 对进一步加速变得必要。这种效果在 A100 上更为明显,因为 Tensor Core 和 CUDA Core 之间的峰值吞吐量差距更大。相应地,Flash-DWC-T 在这款 GPU 上相对于 cuBLAS-GEMM 和其 CUDA-Core 对应版本均取得更大的优势。总体而言,Flash-DWC-T 在 A100 上达到 cuBLAS-GEMM 吞吐量的 0.36×–2.68×(平均 1.67×),而在 RTX 4090 上为 0.1×–1.71×(平均 0.99×)。

Flash-DWC-T 相比所有 DWC 基线也取得了显著提升。重要的是,它在整个过滤器尺寸范围内都实现了正向加速,而不是以牺牲小过滤器性能为代价来提升大过滤器情况。它比最快的 cuDNN DWC 算法快 1.84×–16.38×(平均 9.01×),比 CuGEMM-DWC 快 1.84×–16.38×(平均 10.58×),比 CuFFT-DWC 快 3.29×–102.63×(平均 23.35×),比 Inductor-DWC 快 2.88×–17.73×(平均 10.46×)。相应的几何平均加速比分别为 8.21×、9.83×、16.78× 和 9.95×。Flash-DWC-T 也从更小的特征图中获益,因为更高的缓存命中率提高了吞吐量。

**6.2.3 跨 GPU 比较。** 尽管 A100 的 FP16/FP32 Tensor-Core 峰值(312 TFLOPS)高于 RTX 4090(165 TFLOPS),但 Flash-DWC-T 在 RTX 4090 上实现了更高的绝对吞吐量:平均/峰值为 50.6/90.3 TFLOPS,而 A100 上为平均/峰值 30.3/49.5 TFLOPS。在考虑我们 GEMV 到 GEMM 转换的 56.25% 密度后,密度归一化吞吐量在 RTX 4090 上达到平均/峰值 90.0/160.5 TFLOPS,而 A100 上为平均/峰值 53.9/88.0 TFLOPS,其中 RTX 4090 峰值接近其名义 FP16/FP32 Tensor-Core 峰值。这种跨 GPU 差距不能完全由 Tensor-Core 峰值或 DRAM 带宽来解释。

为了更好地理解这一行为,我们使用 Nsight Compute 对 Flash-DWC-T 进行性能分析。在分析案例中,RTX 4090 始终比 A100 实现更高的 L2 命中率。对于 128×64×64×256 特征图,在 9×9、17×17、31×31 和 51×51 过滤器下,RTX 4090/A100 的 L2 命中率分别为 90.5/82.3%、95.4/89.1%、97.9/93.5% 和 99.0/96.2%。这表明 RTX 4090 更大的 L2 缓存(72 MB 对比 A100 的 40 MB)有助于捕获 Flash-DWC-T 暴露的输入重用。在宽度轴迭代中,Flash-DWC-T 执行一次初始批量加载,随后是许多小增量加载。初始批量加载可以从 A100 的更高带宽中受益(约 2 TB/s 对比 RTX 4090 的约 1 TB/s),这与其在小过滤器(FW≤5)上的优势一致。随着过滤器尺寸增大,由于 Flash-DWC-T 的优先按宽度访问模式和负载分布,增量加载变得更加缓存驻留,减少了片外带宽压力。在此模式下,RTX 4090 得益于其更大的 L2 缓存并实现了更高的吞吐量。

其他架构因素也可能对这一差距有所贡献。

辅助任务,如谓词求值、地址计算和循环控制,在张量核心之外执行,而异步拷贝和共享内存行为会影响数据搬运与张量核心计算之间的重叠程度。这种跨GPU的行为并非Flash-DWC-T所独有;cuDNN和Inductor的深度可分离卷积实现同样表现出在RTX 4090上的吞吐量高于A100,比值平均为1.52倍,峰值达2.06倍。结合L2缓存命中率计数器,这一一致趋势支持了我们的解释:由于深度可分离卷积的跨通道复用有限且采用细粒度空间访问模式,其性能对缓存层次结构和流水线行为的敏感度远高于对张量核心峰值性能或DRAM带宽的依赖。

**6.3 CNN训练评估**

我们选择训练作为端到端评估场景,因为它不仅涉及推理中使用的前向深度可分离卷积算子,还涉及反向深度可分离卷积、反向全连接、优化器交互以及收敛保持。该场景在评估Flash-DWC效率的同时,验证了其在全训练流水线中的安全使用。

我们选取四个代表性模型族[7, 20, 25, 41],涵盖具有中等尺寸密集、大尺寸密集以及分解大尺寸滤波器的深度可分离卷积层。对于所有模型,我们用Flash-DWC实现替换PyTorch的原生深度可分离卷积层,同时保持Flash-DWC与PyTorch之间评估的模型架构完全一致。对于降采样使特征图尺寸低于标称滤波器尺寸的最后阶段,我们将滤波器裁剪为(特征图尺寸?1),因为此类超大滤波器通常在ImageNet识别任务中带来的精度提升有限,却会增加计算量。Flash-DWC与PyTorch使用完全相同的训练配置,包括默认Adam优化器[14]、学习率10??,以及用于FP16混合精度的损失缩放[33]。我们在两块Ada Lovelace架构GPU上运行实验,即RTX 4090(24 GB)和RTX 5880 Ada(工作站GPU,48 GB)。如6.1节所示,Ada Lovelace架构为所评估的深度可分离卷积实现提供了更高的吞吐量,使其非常适合深度可分离卷积工作负载。

**6.3.1 速度**

我们在FP32和FP16下测量端到端每批次训练时间,在50批次预热后取100批次的平均值。每个计时迭代覆盖完整的训练步骤,包括数据加载和预处理、主机到设备的传输、前向和反向传播以及优化器更新。输入图像被调整为256×256,这是常用的分辨率。为最大化GPU利用率,对于每个模型,我们在∈{16, 24, 32, 48, 64, 128, 256}中选择能适配内存的最大批次大小,并对Flash-DWC和PyTorch使用相同的批次大小。表1(a)报告了由此得到的加速比。

表1. Flash-DWC相较于PyTorch的端到端训练加速比。HA表示反向全连接中的混合累加,↑表示其在端到端训练中的增益。

Flash-DWC在FP32下实现1.44–6.27倍的加速,在FP16下实现1.03–11.23倍的加速,张量核心加速在FP16下实现了更高的峰值加速比。加速比在同一架构的基础版本和扩展版本之间保持稳定,表明Flash-DWC随通道数具有良好的可扩展性。由于标准卷积和全连接层的计算量随通道数平方增长,端到端加速比在扩展版本中略有降低。混合累加将内核吞吐量提升最多约30%,但受限于阿姆达尔定律,其端到端增益仅0.1%–4.6%,表明Flash-DWC已消除了深度可分离卷积的瓶颈。

端到端加速比随滤波器尺寸增大而提高。对于使用7×7滤波器的ConvNeXt,加速比为1.03–1.70倍;将滤波器扩展至9×9后,加速比提升至1.94–2.75倍。7×7 ConvNeXt的FP16加速比低于FP32加速比,因为PyTorch在FP16下会调度专用内核,留出的改进空间较小。对于使用大量大通道(1024、1536)9×9滤波器深度可分离卷积的ConvMixer,Flash-DWC实现了3.64–6.11倍的显著加速;将滤波器扩大至11×11后,加速比提升至4.55–7.19倍。对于具有31×31和51×51超大滤波器的模型,Flash-DWC对RepLKNet实现4.50–8.64倍的加速,对SLaK实现3.38–11.23倍的加速。在SLaK中,步幅分解3降低了Flash-DWC的算术强度和在运行时间中的占比,因此加速比较低:条纹版本为3.38–4.20倍,而密集版本为5.65–11.23倍。内核融合可以进一步加速小或中等滤波器场景,但为公平比较此处未启用。

Flash-DWC显著减轻了更大密集滤波器的运行时间惩罚。对于ConvNeXt和ConvMixer,将滤波器从7×7/9×9增大至9×9/11×11,端到端训练时间仅分别增加约1.3%和约15%,尽管深度可分离卷积计算量分别增加了约65%和约49%。类似地,密集SLaK的端到端训练时间仅比其条纹版本增加约8%,尽管其深度可分离卷积计算量大了数倍。

我们进一步将输入分辨率提升至512×512,这对于分割和物体检测等密集预测任务具有实际意义。如表1(b)所示,Flash-DWC实现了1.04–14.18倍的类似加速比,展示了跨输入尺寸的鲁棒性。

**6.3.2 收敛性**

我们首先使用从U(?1, 1)中随机抽取的张量,验证Flash-DWC在单层上不引入可测量的精度下降。在FP32下,Flash-DWC的输出和梯度与PyTorch的几乎完全相同,MARE经常为零。在FP16下,Flash-DWC相较于FP64基准真值的MARE约为10?3至10??,与PyTorch自身的FP16实现相当。

我们在FP16混合精度下训练代表性模型[7, 25, 41],这是比FP32更具挑战性的设置。输入图像调整为256×256,批次大小为64。如图16所示,Flash-DWC的收敛与PyTorch相似,而混合累加达到了与全FP32累加相当的收敛效果。这些结果确认了Flash-DWC在提供显著加速的同时保持了训练精度。

图16. CNN训练损失曲线。子图标题列出了模型及其最大滤波器尺寸。HA表示反向全连接中的混合累加。

**7 可扩展性**

Flash-DWC可扩展至高级GPU架构特性和低比特数据类型。两个方向都需要内核级别的重新调优,但不会改变Flash-DWC的主要算法。

高级GPU架构特性可以进一步提升Flash-DWC的性能。(i)线程束专业化可以为消费者线程束提供更大的寄存器预算,为生产者线程束提供较小的预算,使消费者能执行更大的子矩阵乘累加运算并实现更高的数据复用。(ii)对于生产者,Flash-DWC具有规则的预取模式,可以视为连续128字节段的跨步序列。因此,许多细粒度的cp.async指令可以用更少的多维cp.async.bulk.tensor传输来替换。这可以将全局内存加载和部分地址生成工作卸载给张量内存加速器(TMA),实现更高的带宽和更好的重叠。(iii)在集群内部,分布式共享内存(DSMEM)可能实现跨线程块(CTA)的输入补丁重叠和共享滤波器片段的复用。(iv)对于消费者,可以将多个线程束级矩阵乘累加指令重新组织,以利用更大的线程束组级矩阵乘累加(WGMMA)指令,从而可能提高张量核心利用率。

扩大张量核心矩阵乘累加粒度可能需要重新组织工作负载分布和CTA形状;同时也可能增加累加器寄存器压力并降低占用率。这些开销可以通过线程束专业化、基于TMA的异步传输和WGMMA执行部分抵消。DSMEM的收益取决于集群级DSMEM访问能否被矩阵乘累加计算隐藏。

低比特数据类型,如FP8、FP6、FP4和微缩放格式,通常以混合精度方式使用:操作数以低精度存储和乘法,而累加保持较高精度,如FP32或FP16,具体取决于精度需求。Flash-DWC-T的数据复用模式、矩阵向量到矩阵乘的转换、矩阵压缩和双路径分割矩阵乘流水线基本与数据类型无关。因此,只要张量核心支持目标混合精度格式,Flash-DWC就可以扩展到低比特数据类型。

低比特数据类型可以减少内存流量并提高张量核心的峰值吞吐量,两者都能提升Flash-DWC-T的性能。支持这些数据类型需要内核级别的重新调优,包括调整数据布局以适应128字节内存访问、选择合适的张量核心指令以及处理量化/反量化。这些修改可能影响软件流水线、内存访问行为和辅助CUDA核心开销,因此其对性能和精度的影响应在特定部署中进行验证。

**8 相关工作**

CNN中的深度可分离卷积。深度可分离卷积已成为现代CNN的关键组件。早期的轻量级网络[12, 13, 39, 40]采用小滤波器深度可分离卷积,在保持精度的同时减少计算量。近年来,大滤波器深度可分离卷积被用于扩大感受野并建模长距离依赖关系,达到了与视觉Transformer竞争的精度[9, 22, 23, 43]。例如,ConvNeXt [25, 44]使用7×7深度可分离卷积,RepLKNet [7]扩展至31×31,SLaK [20]进一步以条纹卷积实现51×51。PeLK [2]表明,尽管计算量更高,密集深度可分离卷积仍优于条纹变体,这推动了参数高效的密集设计。其他工作[8, 15, 17, 26, 29, 41, 46, 47, 48]也利用大滤波器深度可分离卷积来捕获全局上下文。尽管架构不断进步,深度可分离卷积在GPU上仍然受内存带宽限制,限制了其实际训练效率,尤其是对于大滤波器。

深度可分离卷积优化。先前工作已在GPU上优化深度可分离卷积。大多数工作[4, 27, 28, 32, 34, 36, 37]在CUDA核心上操作,因此性能受限,且混合精度需要数据类型转换。传统布局,尤其是NCHW [4, 28, 32, 36, 37],阻碍了深度可分离卷积的合并内存访问。[27, 28]提出了有效的方法来复用输入补丁重叠;然而它们仍以CUDA核心为导向,主要面向小滤波器(如≤5×5)。虽然cuDNN [34]可以在张量核心上执行深度可分离卷积,但其张量核心性能通常低于CUDA核心性能。对角线分解[38]将深度可分离卷积转换为可由高性能BLAS库加速的标准卷积;然而,其高度稀疏的变换滤波器引入了大量不必要的计算,使其比近期cuDNN版本更慢。[37]融合深度可分离卷积和逐点卷积以减少数据搬运;它对小批次推理有效,但由于重计算和控制复杂度,在较大批次大小(如16)下效率低下。MegEngine [32]为大滤波器深度可分离卷积提供两种方法:其直接卷积方法使用共享内存进行数据复用,但运行在CUDA核心上且缺少软件流水线;其批量矩阵乘方法将计算量增加IH×IW/(FH×FW)倍,在特征图较大或批次较小时可能效率低下。与优化深度可分离卷积本身正交的是,硬件感知剪枝技术[35]通过算法减少模型大小和计算量。

基于FPGA的工作[1, 18, 24, 30, 42]设计了专用数据流和核心以提高硬件利用率和片上数据复用。面向CPU的工作[11, 49]引入了ARM特定的寄存器/缓存优化和内核融合。[45]通过基于扫描的分块和层融合优化CNN推理加速器上的深度可分离卷积,减少DRAM访问。这些非GPU工作表明,深度可分离卷积加速主要依赖于数据局部性和硬件利用率,而非仅仅依赖计算量。尽管它们的平台特定机制不能直接应用于GPU,但我们共享这一以局部性驱动的观点,并研究其在GPU上的实现。

面向不规则计算的张量核心。张量核心设计用于密集矩阵乘累加,限制了其在稀疏或不规则计算中的适用性。ConvStencil [3]和SparStencil [19]等近期工作将模板计算转换为具有超过50%结构化密度的矩阵乘累加。然而,这些方法面向小的单通道滤波器,无法扩展到深度可分离卷积的多通道大滤波器场景。

我们的工作。Flash-DWC与先前工作有三个方面的不同。(i)它为原生深度可分离卷积引入了基于矩阵向量运算的数据流协同设计,联合优化数据复用、访问顺序、布局和工作负载分块,在提高算术强度的同时保持访问连续性和内存合并性。(ii)它引入了深度可分离卷积专用的矩阵向量到矩阵乘转换,将深度可分离卷积映射为紧凑的56.25%稠密张量核心矩阵乘累加,从而实现高效混合精度执行而无大量冗余。(iii)它将上述技术与资源高效的内核优化相结合,支持包括反向传播和PyTorch集成在内的完整训练。

**9 结论**

我们提出了Flash-DWC,一个使深度可分离卷积计算高效的GPU库。通过结合基于矩阵向量运算的数据流协同设计、紧凑的矩阵向量到矩阵乘转换和资源高效的内核优化,Flash-DWC将深度可分离卷积从受内存带宽限制转变为受计算限制,并将这一加速扩展至端到端CNN训练。实验表明,Flash-DWC在内核级评估和端到端训练中都实现了显著的加速。总体而言,Flash-DWC使大滤波器深度可分离卷积在实际的视觉应用中更加可行,兼顾效率与精度。

**致谢**

作者感谢匿名审稿人的建设性意见,这些意见大幅改进了本手稿。我们诚挚感谢蒋清才的深刻讨论,帮助塑造了本研究方向。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号