目标检测之一（传统算法和深度学习的源码学习）
本系列写一写关于目标检测的东西，包括传统算法和深度学习的方法都会涉及到，注重实验而不着重理论，理论相关的看论文去哈，主要依赖opencv。
一、目标检测有哪些算法，历史简介
最近在做一些目标检测相关的东西，目标检测是计算机视觉里面最重要的课题之一了，很多场合检测和识别都是很重要的，比如现在很火的无人驾驶，就非常依赖目标检测和识别，需要非常高的检测精度和定位精度。
目标检测从很早就开始有了。
传统算法的典型代表有：
Haar特征+Adaboost算法
Hog特征+Svm算法
DPM算法
深度学习的目标检测典型代表有：
RCNN系列，RCNN，spp-net，fast-rcnn，faster-rcnn
YOLO系列，YOLO和YOLO9000
SSD
后来有了深度残差网络ResNet之后，又出现了RFCN，还有最近的mask-rcnn等等，检测效果越来越好，精度越来越高。
二、Haar特征+Adaboost特征检测
作为本系列的第一篇，先来点简单的，我们从Haar特征+Adaboost算法开始。原理很简单。网络上教程一大堆，我这里就不废话了，稍微提下下。
Haar特征有以下几种：
Adaboost算法是机器学习里面的一种集成学习的算法，说的通俗点，就是用弱分类器（分类能力较差，但是也要大于0.5）级联加权组合成强分类器（分类能力较强），在训练过程中会着重训练前面分类错误的样本，及具体做法是增加样本对应的权重。
本次实验检测目标为车辆
使用Haar+Adaboost算法目标检测分为三个步骤：
1、 样本的创建和标记
2、 训练分类器
3、 利用训练好的分类器进行目标检测。
1. 样本的创建和标记
自己做样本是一个非常痛苦和麻烦的事，最好还是自己去网上找些公开的数据集，毕竟像ImageNet比赛或者无人驾驶这么火，公开的数据集很多的。
这里给出几个车辆检测相关数据集链接：
http://www.gti.ssr.upm.es/data/Vehicle_database.html
http://www.cvlibs.net/datasets/kitti/raw_data.php?type=city
正样本，即包含检测对象的图片，使用图像标记工具，网上搜一下有很多的，格式就是，图片名+目标个数+目标的矩形框定位（左上角坐标和矩形长宽）
正样本描述文件vec文件的创建。
已经把目标的情况记录了放在txt文件里，打开cmd窗口，输入createsamples.exe -info positive/info.txt -vec data/vector.vec -num 500 -w 24-h 24。当然你也可以使用.bat文件运行。这句话的-num后面的500表示正样本图片的数目，后面的-w和 -h说的是图片resize成的大小，根据实际情况修改。运行完会生成vector.vec文件，这个就是向量描述文件了。你不用打开看它的内容，其实打开也没用，因为是乱码的，需要专门的软件。后面会用到。
做好这个其实就成功了一大半了，制作正样本很麻烦的。下面看看怎么制、制作负样本。很简单，准备图片（不包含车的图像）1500张，多点也可以。
负样本的制作
然后在当前路径下在cmd窗口运行dir /b *.jpg >neg_name.txt就会生成一个neg_name.txt文件，里面包含当前路径下的所有jpg文件的文件名。
好了，正负样本制作完成，可以开始训练了。我们使用opencv自带的opencv_haartraining.exe文件（opencv安装目录的bin目录下面有该文件）进行训练。
参数看起来很多，有点复杂。不用管它，网上查一下就明白了，很多参数都有默认值。我训练时的命令为
opencv_haartraining.exe-data data/cascade -vec data/vector.vec -bg negative/neg_name.txt -npos 500-nneg 1500 -nstages 20 -mem 4000 -w 24 -h 24
意思依次为 可执行文件名，训练好的xml分类器文件保存地址，正样本描述文件vec文件，负样本的文件名，正负样本的数量，nstages为训练轮数，mem为分配内存MB，图像resize的大小。
训练截图
这个训练过程非常慢，可能要十几二十个小时，看电脑配置和数据量，我当时训练了20多个小时。你可以让它一直训练直到完成，你也可以随时中断训练，然后随时开始，他会接着训练，不会从头再来。
经过漫长的等待训练完成得到xml分类器文件，然后使用opencv的接口即可进行车辆检测了，我是使用detectMultiScale这个函数检测的，就跟人脸检测一样的，然后输出矩形框。我直接贴出检测部分的源代码，其他部分都是直接使用opencv自带的。其实这个也算~~
#include<opencv2\opencv.hpp>
#include<opencv2\core\core.hpp>
#include<opencv2\highgui\\highgui.hpp>
#include <iostream>
using namespace std;
using namespace cv;
int main()
{
string xmlPath = "car_model.xml"; //训练好的分类器xml文件
CascadeClassifier ccf; //创建分类器对象
Mat img;
if (!ccf.load(xmlPath)) //加载训练文件
{
cout << "不能加载指定的xml文件" << endl;
return 0;
}
namedWindow("car");
bool stop = false;
//获取摄像头图像
//VideoCapture cap(0);
//获取文件夹图片序列
string img_path = "data";//把图片放到当前目录的data文件夹下即可，文件名随便都可以
vector<cv::String> vec_img;
glob(img_path, vec_img);
if (vec_img.empty())
{
std::cout << "there is no pictures." << endl;
return -1;
}
//写入视频文件，我处理的是序列图片，所以我把检测结果写成视频文件了，便于观察
//VideoWriter writer;
//string video_name = "car1.avi";
//Mat temp = imread(vec_img[0]);
//int frame_fps = 15; //帧率
//writer = VideoWriter(video_name, CV_FOURCC('X', 'V', 'I', 'D'), frame_fps, Size(temp.cols, temp.rows));
while (!stop)
{
int64 start = getTickCount();
for (int i = 0; i < vec_img.size(); ++i)
{
img = imread(vec_img[i]);
//if (!cap.read(img))
// break;
//cap >> img;
vector<Rect> cars; //创建一个容器保存检测出来的车辆
Mat gray;
cvtColor(img, gray, CV_BGR2GRAY); //转换成灰度图，因为harr特征从灰度图中提取
//equalizeHist(gray, gray); //直方图均衡行
ccf.detectMultiScale(gray, cars, 1.1, 3, 0, Size(10, 10), Size(100, 100)); //检测车辆
//cout << cars.size() << endl;
for (vector<Rect>::const_iterator iter = cars.begin(); iter != cars.end(); iter++)
{
rectangle(img, *iter, Scalar(0, 0, 255), 2, 8); //画出矩形
}
imshow("car", img);
//writer.write(img);
if (waitKey(2) == 'q')//按q退出
{
stop = true;
break;
}
}
//计算运行时间
cout << (getTickCount() - start) / getTickFrequency() << endl;
break;
}
return 1;
}测试效果截图：可以看到对于简单场景 的测试，检测效果还不错，速度超快的，每秒几十帧，几乎都能正确检测出来，但是对于复杂点的场景检测效果就很差了。这个时候就要看深度学习的了
测试场景1：高速公路，目标较少，1700张序列图片（320*240），只需要25s左右.
这是高速公路的监控相机下的场景，从上面两幅图像可以看到，远处的车辆几乎都没有检测到，当车辆靠近相机时，就能准确检测到。
简单场景下检测效果较好，场景中的车辆几乎都能较准确的检测出来。
测试场景2：城市街道，由于光照和场景较复杂，检测效果很差，几乎不能检测出来
深度学习方法的对比，几乎都能正确检测出来，目前用的是YOLO方法进行车辆的检测，速度和精度都比较好，适合用于视频的实时检测。1700帧序列图像（320*240），用时600s左右，相当于大概1秒3帧，速度有点慢
注：由于车辆较多，我把目标的标签和概率去掉了，只保留了检测框。
从上图可以看到，总体检测车辆的效果良好，但第三幅图的时候出现了一个错误的检测，它把马路识别为train。还有第四幅图像，由于目标比较密集，检测框定位不准确
在更复杂的场景中，深度学习的方法表现出了更大的优势，由于光照的原因，场景中的目标不容易被检测，但是YOLO几乎全部准确检测出来。
关于YOLO进行目标检测的东西见本系列第二篇。有问题欢迎在评论区或者邮件交流，我也是初学者，有不对的地方还望各位不吝指正~~
参考文献
[1] ViolaP, Jones M. Rapid object detection using a boosted cascade of simplefeatures[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2003:I-511-I-518vol.1.
[2] Lienhart R, Maydt J. An extended set of Haar-like features for rapidobject detection[C]// International Conference on Image Processing. 2002.Proceedings. IEEE, 2002:I-900-I-903 vol.1.
[3] http://blog.csdn.net/zhuangxiaobin/article/details/25476833
[4] Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[J]. 2016.
