一、前言
在大语言模型推理中使用Lora权重有几个显著的好处。首先，它能够在保持模型原有性能的基础上，提高特定任务的适应能力，使得模型在特定领域或任务上的表现更加出色。其次，LoRa方法通过低秩适配技术，大幅减少了需要调优的参数数量，从而减轻训练资源的负担，并缩短训练时间。同时，由于只需微调少量参数，模型在迁移学习时也能更有效地保留原有的知识，提高了模型的泛化能力。这使得LoRa在资源有限的情况下，依旧能够实现高效准确的结果，适用于各种实际应用场景。
在本篇中将介绍如何使用vLLM框架集成Lora权重，以实现高效的推理过程。
二、术语
2.1. vLLM
vLLM是一个开源的大模型推理加速框架，通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。
2.2. Qwen2.5
Qwen2.5系列模型都在最新的大规模数据集上进行了预训练，该数据集包含多达 18T tokens。相较于 Qwen2，Qwen2.5 获得了显著更多的知识（MMLU：85+），并在编程能力&#x
本文转载自: https://blog.csdn.net/qq839019311/article/details/143159354
版权归原作者 开源技术探险家 所有， 如有侵权，请联系我们删除。
版权归原作者 开源技术探险家 所有， 如有侵权，请联系我们删除。