推荐一个 HuggingFace 的镜像源网站,亲测好用,提速杠杠的。有了这个网站,我们可以快速地下载 HuggingFace 上的公开的大模型,再也不用因为一个模型下载几个小时而影响进度,从而可以愉快地开始大模型之旅。

作为一个公益项目,致力于帮助国内AI开发者快速、稳定的下载模型、数据集。

HuggingFace-镜像站

使用方法有两种,如下:

方法一:网页下载

在本站搜索,并在模型主页的Files and Version中下载文件。

方法二:huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具,自带完善的下载功能。

1. 安装依赖

pip install -U huggingface_hub

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

建议将上面这一行写入 ~/.bashrc
3.1 下载模型

huggingface-cli download --resume-download gpt2 --local-dir gpt2

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

可以添加 --local-dir-use-symlinks False 参数禁用文件软链接,这样下载路径下所见即所得,详细解释请见上面提到的教程。

相关导航

暂无评论

暂无评论...