Huggingface下载及缓存目录修改

前言

• 最近在下数据集，但一直报错空间不足，修改缓存目录后依然不足，发现是因为修改命令是终端一次性的，而vscode会启动新终端，导致新终端没有修改缓存目录，进而一直报错空间不足。

Huggingface下载

• 下载代码如下，

from datasets import load_dataset
load_dataset("ILSVRC/imagenet-1k")

无数据集访问权限

• 报错：datasets.exceptions.DatasetNotFoundError: Dataset 'ILSVRC/imagenet-1k' is a gated dataset on the Hub. You must be authenticated to access it
• 游览器登陆Huggingface，打开数据集页面，获取数据集访问权限。
• 随后点击头像，找到Access Token，创建并复制。
• 终端输入huggingface-cli login，然后粘贴Access Token，回车。

修改缓存目录

• 修改~/.bashrc文件，在最后修改缓存路径，已令新终端自动切换缓存路径

export HF_HOME=/YourCachePath
export HF_DATASETS_CACHE=/YourCachePath
export TRANSFORMERS_CACHE=/YourCachePath

命令下载

• HuggingFace也能直接命令下载，能指定下载文件夹，但在我看输出的命令，是先下载到缓存文件夹，再移动到指定文件夹。