在解码器推理加速的时候，由于解码过程是一个token一个token的生成，如果每一次解码都从输入开始拼接好解码的token，生成输入数据，然后预测下一个token，那么会有非常多的重复计算。
为了解决这个问题，Transformers利用缓存
本文转载自: https://blog.csdn.net/universsky2015/article/details/130878522
版权归原作者 禅与计算机程序设计艺术 所有， 如有侵权，请联系我们删除。
版权归原作者 禅与计算机程序设计艺术 所有， 如有侵权，请联系我们删除。