动态卷积是什么

CVPR 2020丨动态卷积：自适应调整卷积参数，显著提升模型表达能力 - 知乎
动态卷积没有在每层上使用单个卷积核，而是根据注意力动态地聚合多个并行卷积核。注意力会根据输入动态地调整每个卷积核的权重，从而生成自适应的动态卷积。由于注意力是输入的函数，动态卷积不再是一个线性函数。通过注意力以非线性方式叠加卷积核具有更强的表示能力。

动态网络引入了两部分的额外计算：注意力模型和卷积核的叠加。注意力模型计算复杂度很低，由 avg pool 和两层全卷积组成。得益于小的内核尺寸，叠加多个卷积核在计算上也非常高效。因此，动态卷积引入的额外计算是非常少的。少量的额外计算与显著的表达能力的提升使得动态卷积非常适合轻量级的神经网络