SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架
SCOPE框架通过分离预填充与解码阶段的KV缓存优化策略，实现了高效的缓存管理。该框架保留预填充阶段的关键KV缓存信息，并通过滑动窗口、自适应调整和不连续更新等策略，优化解码阶段的重要特征选取，显著提升了长语言模型长序列生成的性能。
SCOPE框架通过分离预填充与解码阶段的KV缓存优化策略，实现了高效的缓存管理。该框架保留预填充阶段的关键KV缓存信息，并通过滑动窗口、自适应调整和不连续更新等策略，优化解码阶段的重要特征选取，显著提升了长语言模型长序列生成的性能。
