文章目录
huggingface git代理加速
1. 解决办法
由于国内流量限制，我们直接请求huggingface下载模型受限，但是我们有国内的huggingface镜像站https://hf-mirror.com/
我们的思路就是将
huggingface.co
的请求转发到
hf-mirror.com
，所以笔者选择使用网络代理的方式。笔者选择的是轻量的
whistle
作为网络代理工具。（可替换方案例如 Fiddler、Charles 或 mitmproxy。这些工具允许你拦截和修改出站请求。）
第二个问题就是
git
并非浏览器发起请求，我们需要为
git
配置代理为
whistle
才可以达成域名替换的效果。
为了解决问题而来的读者阅读完第二章即可。
2. 操作步骤
2.1 安装whistle
首先要保证读者的环境中有
node.js
，这样才可以使用
npm
管理工具安装
whistle
参考https://nodejs.org/en/download
ubuntu环境下可以直接sudo apt install nodejs
安装
whistle
npminstall-g whistle
启动服务
w2 start -p8000
-p 后的端口号由读者指定
我们通过浏览器访问到配置页面
http://127.0.0.1:8000
点击HTTPS
勾选所有选项，下载
CA
证书，将证书导入浏览器
导入证书的方式因浏览器而异，以火狐为例
导入刚刚下载的文件即可
2.2 填入规则
在规则中填入
https://huggingface.co https://hf-mirror.com
https://cdn-lfs.huggingface.co https://cdn-lfs.hf-mirror.com
其中第一行是指定huggingface的域名替换，用于解决
https://huggingface.co/datasets
的访问。
第二行是用于
git lfs
大文件的内容过滤的访问，很多模型的文件存储在
git lfs
的仓库中。
通过抓包工具发现的
git lfs的镜像源，故而作了修改
2.3 git代理配置
接下来我们需要为
git
配置
http
和
https
的代理
# 设置 HTTP 代理git config --global http.proxy http://127.0.0.1:8080
# 设置 HTTPS 代理git config --global https.proxy https://127.0.0.1:8080
这样配置之后，还是会出现证书问题，因为
https
需要
SSL/TLS
证书，我们有两种方案：
- 不认证
git config --global http.sslVerify false - 导入证书
git config --global http.sslCAInfo /path/to/certificate.crt
wget在下载时如果用代理也是需要配置的
exporthttp_proxy=http://username:[email protected]:port`exporthttps_proxy=http://username:[email protected]:port`wget http://example.com/file.zip`由于这个操作是操作的环境变量，所以对全局生效，如果出现其他问题（例如pip ssl验证失败，记得回退）
unset http_proxy unset https_proxy当然也可以使用pip的选项禁用证书验证
2.4 测试
进入
whistle
的配置页面，打开
Network
监控，点击
Clear
清除
浏览器输入网址
https://huggingface.co/
，可以看到已经重定向到了国内镜像站
通过网络抓包能够看到如下信息
克隆项目
git clone https://huggingface.co/datasets/hssd/hssd-hab --recursive--branch ovmm
可以看到无论是
git
源码还是
git lfs
的内容均成功
3. 网络代理作用
网络代理是一种充当网络中间人的设备或服务，用于代表用户或设备执行网络请求。代理在网络通信中扮演多种角色，具有各种用途和作用，包括以下几个方面：
访问控制和安全性：
代理可以用于实施访问控制策略，限制特定用户或设备的访问。通过代理，可以监控和记录网络流量，检测恶意活动，并提供额外的安全层，如防火墙和入侵检测系统。
内容过滤和缓存：
代理可以过滤和拦截网络流量，阻止访问特定类型的内容或网站。此外，代理还可以实施内容缓存，加速对常见资源的访问，减轻网络流量和提高响应速度。
匿名性和隐私：
用户可以通过代理隐藏其真实的 IP 地址，提高匿名性。这对于绕过地理位置限制或保护用户隐私是有用的。代理也可以通过删除请求中的敏感信息来提高用户的隐私。
网络性能优化：
代理可以通过压缩数据、路由优化、负载均衡等手段来优化网络性能。通过选择最佳路径，代理可以提高数据传输的效率，并降低延迟。
访问控制和身份验证：
代理可以要求用户进行身份验证，确保只有授权的用户可以访问特定资源。这有助于强化网络安全，并限制未经授权的访问。
网络加速和优化：
通过代理服务器，可以对网络流量进行优化，例如使用压缩算法、缓存静态资源等，从而提高整体网络性能。
绕过地理限制：
代理可以帮助用户绕过地理限制，访问被限制在特定地区的内容或服务。这对于访问特定国家或地区的在线服务是有用的。
审计和监控：
代理允许对网络流量进行审计和监控，记录用户活动、检测异常行为，并生成报告。这有助于网络管理和安全团队保持对网络的全面掌控。
版权归原作者 Moresweet猫甜 所有， 如有侵权，请联系我们删除。