HuggingFace/ModelScope 模型下载工具

HuggingFace 和 ModelScope 模型下载工具介绍

HuggingFace/ModelScope 模型下载工具备忘

在使用社区大模型时不太建议在代码内嵌模型下载,通过预先下载至本地,再从对应目录加载更加方便。

1. HuggingFace

1.1 专用下载工具

huggingface直连情况下速率较慢,可以通过镜像站进行下载,需要临时设置一次环境变量如下:

1
export HF_ENDPOINT=https://hf-mirror.com

“专用下载工具”的获取,以及赋予可执行权限:

1
2
wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh 

寻找对应模型的id,左边绿色框内表示模型id,右边红色框可以一键复制模型id HuggingFace 模型 ID 位置

在需要下载模型的目录中执行模型下载命令:

1
./hfd.sh Qwen/Qwen3.5-9B # 替换为自己需要的模型id
  • 部分文件下载:通过--include命令执行正则表达式的筛选,只下载需要的文件,例如下面表示只下载config.json文件

    1
    
    /hfd.sh <model_id> --include '^config.json$'
    
  • 数据集下载:查找指定数据集id,执行下载命令如下:

    1
    
    ./hfd.sh wikitext --dataset # wikitext是下载的数据集id
    

2. ModelScope

2.1 命令行

魔塔社区下载器通过python命令行形式,需要先安装python包

1
pip install modelscope # 先在指定虚拟环境下安装modelscope包

然后找到想要下载的模型的界面,旁边有下载指引 ModelScope 下载指引入口 在下载指引可以看到下载教程, ModelScope 模型 ID 位置 通常来说,命令行下载只需要找到模型id,如上图左侧,随后执行下载命令

1
modelscope download --model Qwen/Qwen3.5-9B # 最后是模型id,确保当前命令行的python环境有modescope
  • 特别的,可以只下载部分文件,通常会用于下载README.md或者config.json等,README.md包括模型介绍而config.json包括模型实例化的信息,可以空数据的形式加载到元设备执行,命令如下:

    1
    
    modelscope download --model Qwen/Qwen3.5-9B config.json
    
  • 数据集下载:查找数据集id,把--model替换成--dataset即可

    1
    
    modelscope download --dataset datai_id
    

2.2 其它方式

SDK或者git方式参考官方文档或者对应模型的下载指引。


3. 参考链接