前言
使用 text-generation-webui 生成大模型界面,这个是专门用于文本对话生成的 web ui 界面
GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.
克隆或下载到本地,我是想试试这个怎么样,我的环境:
win10, cpu
所以在模型方面找了小模型来试试,https://huggingface.co/Qwen/Qwen1.5-0.5B-Chat/tree/main
qwen1.5-0.5B 只有 2g 多,可以下载模型文件,我在本地电脑没 gpu 情况下能跑起来:
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cpu" # the device to load the model onto
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen1.5-0.5B-Chat",
torch_dtype="auto",
device_map="cpu"
)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-0.5B-Chat")
prompt = "Give me a short introduction to large language model."
messages = [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)
generated_ids = model.generate(
model_inputs.input_ids,
max_new_tokens=512
)
generated_ids = [
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
web ui
下载好后,按照它的安装指引安装一下,中途按照提示选择即可
模型文件位置,按照自行放置:
ValueError: When localhost is not accessible
到 text-generation-webui 目录下,运行 python service.py,先提示缺少包,提示啥就安装啥
注意:gradio 需要安装指定版本(requirements.txt 中可以看)
全部没问题后,会得到这个错误,需要在 shared.py 中加一个值 default=True 如下,这个代码直接用 pycham 打开搜索就能找到
group.add_argument('--share', action='store_true', help='Create a public URL. This is useful for running the web UI on Google Colab or similar.', default=True)
然后重新启动 service,点开 url 就可以看到效果
需要加载选择模型,由于我是 cpu ,还有一个 cpu 需要选择,在下面一点,就不截图了,加载成功会提示 successfull:
然后就恶意正常对话了,不过从模型上看,0.5 的效果太差了
版权归原作者 木下瞳 所有, 如有侵权,请联系我们删除。