掩码注意力(Causal Attention)是生成式模型的核心技术,它传统自注意力机制有根本的不同,掩码注意力限制模型只能关注当前位置之前的tokens,确保了自回归生成的因果性。
资讯同步
文章同步
公众号:deephub-imba
公众号:奕凯的技术栈