在huggingface、SwanHub、魔搭社区等包含大语言模型权重的仓库中,权重文件大多使用git-lfs进行托管:
但是新手在使用git-lfs时,很容易遇到clone到lfs文件时,无法实时下载进度条的情况,你也不知道到底是在后台下载,还是你的电脑卡住了,就很捉急:
实际上后台一般正在下载lfs文件,但是要等下载到一定阶段时(比如25%、50%等)才会显示一下,下载体验就非常不好。
经过摸索后,这里我提供一个实时显示lfs文件的下载进度流程:
以智谱的cogagent仓库为例:https://swanhub.co/ZhipuAI/cogagent-chat-hf
标题Step1. 设置环境变量GIT_LFS_SKIP_SMUDGE
在终端输入以下命令,将环境变量GIT_LFS_SKIP_SMUDGE设置为1:
这条命令允许在克隆时,跳过下载lfs文件。
exportGIT_LFS_SKIP_SMUDGE=1
此时再克隆仓库时就会跳过lfs文件,快速的完成clone步骤:
标题Step2. 使用git lfs pull,实时看到进度条
这时候cd进入这个仓库,在终端输入以下命令:
git lfs pull
这时候就可以预览下载进度了:
搞定!
版权归原作者 林泽毅 所有, 如有侵权,请联系我们删除。