使用LoRA对大语言模型LLaMA做Fine-tune
目前有大量对LLM(大语言模型)做Fine-tune的方式,不过需要消耗的资源非常高,例如Stanford Alpaca: 对LLaMA-7B做Fine-tune,需要4颗A100 (80GB) GPUFastChat/Vicuna: 对LLaMA-7B做Fine-tune,需要4颗A100 (40
目前有大量对LLM(大语言模型)做Fine-tune的方式,不过需要消耗的资源非常高,例如Stanford Alpaca: 对LLaMA-7B做Fine-tune,需要4颗A100 (80GB) GPUFastChat/Vicuna: 对LLaMA-7B做Fine-tune,需要4颗A100 (40