HuggingFace/ModelScope 模型下载工具备忘
在使用社区大模型时不太建议在代码内嵌模型下载,通过预先下载至本地,再从对应目录加载更加方便。
1. HuggingFace
1.1 专用下载工具
huggingface直连情况下速率较慢,可以通过镜像站进行下载,需要临时设置一次环境变量如下:
|
|
“专用下载工具”的获取,以及赋予可执行权限:
|
|
寻找对应模型的id,左边绿色框内表示模型id,右边红色框可以一键复制模型id
在需要下载模型的目录中执行模型下载命令:
|
|
-
部分文件下载:通过
--include命令执行正则表达式的筛选,只下载需要的文件,例如下面表示只下载config.json文件1/hfd.sh <model_id> --include '^config.json$' -
数据集下载:查找指定数据集id,执行下载命令如下:
1./hfd.sh wikitext --dataset # wikitext是下载的数据集id
2. ModelScope
2.1 命令行
魔塔社区下载器通过python命令行形式,需要先安装python包
|
|
然后找到想要下载的模型的界面,旁边有下载指引
在下载指引可以看到下载教程,
通常来说,命令行下载只需要找到模型id,如上图左侧,随后执行下载命令
|
|
-
特别的,可以只下载部分文件,通常会用于下载
README.md或者config.json等,README.md包括模型介绍而config.json包括模型实例化的信息,可以空数据的形式加载到元设备执行,命令如下:1modelscope download --model Qwen/Qwen3.5-9B config.json -
数据集下载:查找数据集id,把
--model替换成--dataset即可1modelscope download --dataset datai_id
2.2 其它方式
SDK或者git方式参考官方文档或者对应模型的下载指引。