该机制来源于Deformable DETR中的技术;
https://zhuanlan.zhihu.com/p/495941788
https://zhuanlan.zhihu.com/p/520666550
https://blog.csdn.net/weixin_43702653/article/details/126153583
这个模块是将 Transformer 的全局注意力变为局部注意力的一个非常关键的组件,用于减少训练时间,提高 Transformer 的收敛速度;
应用于BEVFormer,其中两个重要模块Temporal Self-Attention 和 Spatial Cross-Attention
可参考:https://zhuanlan.zhihu.com/p/543335939
目前已集成到MMCV MMDET3d中。
版权归原作者 流浪德意志 所有, 如有侵权,请联系我们删除。