0


ImageNet1K的下载与使用

0、前言

ImageNet不用多说,它包含了非常多的图片,总共有2w多个分类,但是显然太多。所以一般更常用的是ImageNet1K数据集,该数据集包含1000个类别。

2、val集

val集也是1000个类别,总共5w张图片

该数据集是通过向官方申请并被批准后下载的,官网中在Download进行申请,需要注意的是要

校园邮箱

,个人邮箱是不会被批准的

2.1 下载

如果通过后在Download页面可以找到如下,进入2012

在这里插入图片描述

然后在这里你可以下在Training和Val验证集
在这里插入图片描述

等待下载完毕val,大概长这样,全是图片,所以我们要进行处理。在这里插入图片描述

2.2 处理

我们会将val处理成ImageNet格式,方便pytorch的ImageNet类读取制作dataloader。

首先我们会根据val.txt找到5w张图片分别属于哪一类?当然通过该list你也仅知道哪些图片是一类的,比如第一张图片属于第65类,如果你想知道第65类是什么,可以在gistfile1.txt找到答案

当然对于验证程序来讲,程序仅输入是输入哪一个序号最大,所以我们也仅需要知道该图片所属的是哪一个数字类即可。

现在我们将相同一类的图片放入同一个文件夹,代码如下:

import os
import shutil

defpropress(sh_file_path,output_path,val_path):"""
    sh_file_path: sh文件路径,可从这里下载
        https://raw.githubusercontent.com/soumith/imagenetloader.torch/master/valprep.sh
    output_path:输出路径,完成后该文件夹下有1k个子文件夹,即1k个类
    val_path:val根目录,即下载的val数据集路径
    """withopen(sh_file_path)as f:
        valprep=f.readlines()for i in valprep[:1000]:
        subpath=os.path.join(output_path,i[9:-1])ifnot os.path.exists(subpath):
            os.mkdir(subpath)

    gts=valprep[1000:]for idx,cmd inenumerate(gts):
        _,src,dst=cmd.split(" ")
        src_path=os.path.join(val_path,src)
        dst_path=os.path.join(output_path,dst[:-1],src)
        shutil.copyfile(src_path,dst_path)if idx%500==0:print(f"{idx}/{gts.__len__()}")

propress("valprep.sh","n1K/val",r"H:\迅雷下载\ILSVRC2012_img_val")

torch加载时使用ImageNet类,那么同一个类的训练集类文件夹名和验证集类文件夹名一样时,序号也一样,所以文件夹名和训练集保持一致即可


本文转载自: https://blog.csdn.net/qq_40243750/article/details/125951674
版权归原作者 我是一个对称矩阵 所有, 如有侵权,请联系我们删除。

“ImageNet1K的下载与使用”的评论:

还没有评论