十个经过实战检验的 vLLM KV-cache 优化方法 —— 量化、分块预填充、前缀重用、滑动窗口、ROPE 缩放、后端选择等等 —— 提升 tokens/sec。
资讯同步
文章同步
公众号：deephub-imba
公众号：奕凯的技术栈
