yolo系列在目标检测领域的地位就不用说了，github上有pytorch实现的训练yolov5的代码，本文将用自己的数据去训练一个yolov5的模型。参考代码地址
https://github.com/ultralytics/yolov5/tags
注意这里我们选择tags下的v1.0版本进行训练，不同的版本代码是不一样的，复现过程也有所差异。其中v1.0版本的训练过程和yolov3很相似
数据的标注，采用labelImg软件，保存下来的都是.xml格式的标注文件。本次大概使用8k张图片，训练８个类别（样本就不截图了）
先在yolov5-1.0文件夹下面新建一个文件夹，里面放上自己的图片数据和标签数据，如下所示：
其中images里为原图片，Annotations里为标注文件，序号和images内的一一对应。
然后新建一个split_train_val.py文件划分训练集和验证集，并生成三个保存文件名的文件在ImageSets下面分别为train.txt val.txt trainval.txt test.txt
# coding:utf-8
import os
import random
import argparse
parser = argparse.ArgumentParser()
# xml文件的地址，根据自己的数据进行修改 xml一般存放在Annotations下
parser.add_argument('--xml_path', default='zjyn_data/Annotations', type=str, help='input xml label path')
# 数据集的划分，地址选择自己数据下的ImageSets/Main
parser.add_argument('--txt_path', default='zjyn_data/ImageSets', type=str, help='output txt label path')
opt = parser.parse_args()
trainval_percent = 1.0
train_percent = 0.9
xmlfilepath = opt.xml_path
txtsavepath = opt.txt_path
total_xml = os.listdir(xmlfilepath)
if not os.path.exists(txtsavepath):
os.makedirs(txtsavepath)
num = len(total_xml)
list_index = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list_index, tv)
train = random.sample(trainval, tr)
file_trainval = open(txtsavepath + '/trainval.txt', 'w')
file_test = open(txtsavepath + '/test.txt', 'w')
file_train = open(txtsavepath + '/train.txt', 'w')
file_val = open(txtsavepath + '/val.txt', 'w')
for i in list_index:
name = total_xml[i][:-4] + '\n'
if i in trainval:
file_trainval.write(name)
if i in train:
file_train.write(name)
else:
file_val.write(name)
else:
file_test.write(name)
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()这个脚本的作用就是把训练集和验证集按照9:1的比例分开，然后生成对应的txt文件。
新建xml_2_txt.py脚本如下：
# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET
import os
from os import getcwd
sets = ['train', 'val', 'test']
# 改成自己的类别
classes = ["person", "sport_ball", "bar", "ruler", "cursor", "blanket", "marker_post", "mark_barrels"]
abs_path = os.getcwd()
print(abs_path)
def convert(size, box):
dw = 1. / (size[0])
dh = 1. / (size[1])
x = (box[0] + box[1]) / 2.0 - 1
y = (box[2] + box[3]) / 2.0 - 1
w = box[1] - box[0]
h = box[3] - box[2]
x = x * dw
w = w * dw
y = y * dh
h = h * dh
return x, y, w, h
def convert_annotation(image_id):
in_file = open('zjyn_data/Annotations/%s.xml' % (image_id), encoding='UTF-8')
out_file = open('zjyn_data/labels/%s.txt' % (image_id), 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
# difficult = obj.find('difficult').text
difficult = obj.find('Difficult')
if difficult is None:
difficult = obj.find('difficult')
difficult = difficult.text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
float(xmlbox.find('ymax').text))
b1, b2, b3, b4 = b
# 标注越界修正
if b2 > w:
b2 = w
if b4 > h:
b4 = h
b = (b1, b2, b3, b4)
bb = convert((w, h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
print(wd)
for image_set in sets:
if not os.path.exists('zjyn_data/labels/'):
os.makedirs('zjyn_data/labels/')
image_ids = open('zjyn_data/ImageSets/%s.txt' % (image_set)).read().strip().split()
list_file = open('zjyn_data/%s.txt' % (image_set), 'w')
for image_id in image_ids:
list_file.write(abs_path + '/zjyn_data/images/%s.jpg\n' % (image_id))
convert_annotation(image_id)
list_file.close()这里说明几个地方：
classes列表改写成自己的类别就可以，要和data/*.yaml文件的类别对应
脚本作用就是根据之前生成的train.txt和val.txt保存的图片名字找到对应的label文件，然后转成txt的形式保存。具体保存形式为:
同时在zjyn文件夹下生成对应图片的绝对路径train.txt, val.txt
项目下的train.py为训练文件。
在main函数下设置一些超参数，注意几个地方就好。
batch_size根据自己显卡的配置进行设置，越大越好，我用的2080Ti，在batch_size为32时显存快要占满，再大就会报out_of_momery错误。
--cfg这个参数为模型的网络结构文件
四个文件都是网络模型的超参数定义文件，代表不同的网络结构，其中yolov5s最简单，其他的都是在此基础上加深加宽而已。
注意要做相应的修改，比如如果用yolov5s，那就要修改yolov5s.yaml文件里
#nc改为自己的类别数
nc = 8--data这个参数表示数据的yaml文件路径，如下：
# train and val datasets (image directory or *.txt file with image paths)
train: /home/elvis/project2021/yolov5-1.0-copy/zjyn_data/train.txt # 6648 images
val: /home/elvis/project2021/yolov5-1.0-copy/zjyn_data/val.txt # 738 images train+val = 7387
test: /home/elvis/project2021/yolov5-1.0-copy/zjyn_data/test.txt
# number of classes
nc: 8
# class names
names: ["person", "sport_ball", "bar", "ruler", "cursor", "blanket", "marker_post", "mark_barrels"]
names和自己的类别列表对应
image_size参数。这个表示网络的输入大小，理论上网络输入越大，对于小目标的识别效果越好。整体识别效果也越好
--weights 预训练模型的文件。可有可无，用于初始化。有预训练模型的话损失函数会收敛的更快。
如果是自己的数据样本不均衡，比如在我的数据里人有很多，其他类别较少，因为源代码是根据数据自动聚类选取的anchor，所以训练出的map很低。所以我取消了聚类选取anchor改用使用默认的anchor效果好多了。在train.py文件里把check anchors注释就好了。
最终8k数据经过300个epoch的训练，在2080Ti上历时7hours，训练结果为: map = 0.65
