数据集划分，Oxford Flower102花卉分类数据集，分为训练集、测试集、验证集

数据集划分，Oxford Flower102花卉分类数据集，分为训练集、测试集

Oxford Flower102数据集链接：https://www.robots.ox.ac.uk/~vgg/data/flowers/102/
参考：https://www.jianshu.com/p/71d4a8c1b68b

1、Flower102鲜花分类数据集概览及下载

1. 下载上图的145，1解压后可得到一个包含8189张.jpg格式的图片（放在jpg文件夹中）以及imagelabels.mat和setid.mat。
2. 数据集结构：
   -imagelabels.mat：总共有8189列，每列上的数字代表类别号。
   -setid.mat：
   trnid.mat:总共有1020列，每10列为一类花卉的图片，每列上的数字代表图片号。
   valid.mat:总共有1020列，每10列为一类花卉的图片，每列上的数字代表图片号。
   tstid.mat:总共有6149列，每一类花卉的列数不定，每列上的数字代表图片

2、准备工作

在项目中新建文件夹prepare_pic，再在prepare_pic下新建文件夹test、train、validation。之后会把数据分进这三个文件夹中。把jpg文件夹（包含8189张.jpg格式图片）、imagelabels.mat和setid.mat如图所示放好。data_prepare.ipynb用来数据集处理。

3、实现数据集划分

3.1 引入所需库

# encoding:utf-8
import scipy.io
import numpy as np
import os
from PIL import Image
import shutil

3.2 获取label

labels = scipy.io.loadmat('imagelabels.mat')#该地址为imagelabels.mat的相对地址
labels = np.array(labels['labels'][0]) - 1
print("labels:", labels)

3.3 用data split的setid，分出validation、train、test

setid = scipy.io.loadmat('setid.mat')#该地址为setid.mat的相对地址

validation = np.array(setid['valid'][0]) - 1
np.random.shuffle(validation)

train = np.array(setid['trnid'][0]) - 1
np.random.shuffle(train)

test = np.array(setid['tstid'][0]) - 1
np.random.shuffle(test)

3.4 把数据导进flower_dir

flower_dir = list()

for img in os.listdir("..\\flower_data\\jpg"):#该地址为源数据图片的相对地址         
    flower_dir.append(os.path.join("..\\flower_data\\jpg", img))

flower_dir.sort()

3.5 根据setid分出的train，把训练数据放进train文件夹

des_folder_train = "train"#该地址可为新建的训练数据集文件夹的相对地址
for tid in train:
    #打开图片并获取标签
    img = Image.open(flower_dir[tid])
    print(img)
    # print(flower_dir[tid])
    img = img.resize((256, 256), Image.ANTIALIAS)
    lable = labels[tid]
    # print(lable)
    path = flower_dir[tid]
    print("path:", path)
    base_path = os.path.basename(path)
    print("base_path:", base_path)
    classes = "c" + str(lable)
    class_path = os.path.join(des_folder_train, classes)
    # 判断结果
    if not os.path.exists(class_path):
        os.makedirs(class_path)
    print("class_path:", class_path)
    despath = os.path.join(class_path, base_path)
    print("despath:", despath)
    img.save(despath)

3.6 根据setid分出的validation，把验证数据放进validation文件夹

des_folder_validation = "validation"#该地址为新建的验证数据集文件夹的相对地址

for tid in validation:
    img = Image.open(flower_dir[tid])
    # print(flower_dir[tid])
    img = img.resize((256, 256), Image.ANTIALIAS)
    lable = labels[tid]
    # print(lable)
    path = flower_dir[tid]
    print("path:", path)
    base_path = os.path.basename(path)
    print("base_path:", base_path)
    classes = "c" + str(lable)
    class_path = os.path.join(des_folder_validation, classes)
    # 判断结果
    if not os.path.exists(class_path):
        os.makedirs(class_path)
    print("class_path:", class_path)
    despath = os.path.join(class_path, base_path)
    print("despath:", despath)
    img.save(despath)

3.7 根据setid分出的test，把测试数据放进test文件夹

des_folder_test = "test"#该地址为新建的测试数据集文件夹的绝对地址

for tid in test:
    img = Image.open(flower_dir[tid])
    # print(flower_dir[tid])
    img = img.resize((256, 256), Image.ANTIALIAS)
    lable = labels[tid]
    # print(lable)
    path = flower_dir[tid]
    print("path:", path)
    base_path = os.path.basename(path)
    print("base_path:", base_path)
    classes = "c" + str(lable)
    class_path = os.path.join(des_folder_test, classes)
    # 判断结果
    if not os.path.exists(class_path):
        os.makedirs(class_path)
    print("class_path:", class_path)
    despath = os.path.join(class_path, base_path)
    print("despath:", despath)
    img.save(despath)

4、最终结果