Tensorflow学习(使用jupyter notebook)
Keras框架下的猫狗识别(一)
前言
紧接上文
Keras框架下的猫狗识别(一)
上文提到对于数据集的提前处理方法和技巧,而在这篇博客中,我们继续进行对该识别模型的构建和训练验证。
该模型是基于最简单的CNN模型,并不保证其较高的准确性,目的只是为了熟悉CNN神经网络的简单构建。
一、数据预处理
Keras框架下的猫狗识别(一)
在上一篇博客中,博主已经将数据预处理的内容和技巧简述大概。这里就不再多余重复。这篇博客的重点是CNN暑假网络的构建方法和流程。
二、使用步骤
1.引入库
代码如下:
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Convolution2D, MaxPooling2D
from tensorflow.keras.layers import Activation, Dropout, Flatten, Dense
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import os
首先,最重要的还是要先引入模型训练所需要的库来作为模型搭建的基础。这里我先对引入的库做一个大概的介绍:
Sequential:字面上的翻译是顺序,但是在这里可就不是简单的连续了。相反的,Sequential模型可以构建非常复杂的神经网络,包括全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、等等。
Convolution2D:卷积层,一般用在和图像处理有关的模型构建中
MaxPooling2D:池化层
Activatione:激活函数,一般常用的激活函数有 relu、valid
Dropout,:Dropout可以比较有效的缓解过拟合的发生,在一定程度上达到正则化的效果。
Flatten:Flatten层用来将输入“压平”,即把多维的输入一维化,常用在从卷积层到全连接层的过渡
Dense:Dense layer 就是常提到和用到的全连接层
Adam:优化器
ImageDataGenerator:用以对数据文件的处理
2.定义模型
代码如下:
#定义模型
model = Sequential()
model.add(Convolution2D(input_shape=(150,150,3), filters=32, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(Convolution2D(filters=32, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(MaxPooling2D(pool_size=2, strides=2, padding='valid'))
model.add(Convolution2D(filters=64, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(Convolution2D(filters=64, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(MaxPooling2D(pool_size=2, strides=2, padding='valid'))
model.add(Convolution2D(filters=128, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(Convolution2D(filters=128, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(MaxPooling2D(pool_size=2, strides=2, padding='valid'))
model.add(Flatten())
model.add(Dense(64,activation = 'relu'))
model.add(Dropout(0.5))
model.add(Dense(2,activation = 'softmax'))
# 定义优化器
adam = Adam(lr=1e-4)
# 定义优化器,loss function,训练过程中计算准确率
model.compile(optimizer=adam,loss='categorical_crossentropy',metrics=['accuracy'])
model.summary()
这里的就是搭建了一段简单的CNN神经网络,使用卷积层、池化层、全连接层 、Flatten层相互堆叠而形成的一个拥有2941,410神经元的神经网络模型。
当然,笔者这里构建的神经网络只是一个示范。这样构建的神经网络也可能是导致最后模型准确度不高的原因之一。对于神经网络的搭建,仍然有着更好的方法来搭建更好的模型来使得准确性提高,同时也可以极大的缩短训练所需要的时间。
3.训练数据生成
代码如下:
# 训练集数据处理
train_datagen = ImageDataGenerator(
rescale=1./255,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True)
# 测试集数据处理
test_datagen = ImageDataGenerator(rescale=1./255)
batch_size = 32
# 生成训练数据
train_generator = train_datagen.flow_from_directory(
'train', # 训练数据路径
target_size=(150, 150), # 设置图片大小
batch_size=batch_size # 批次大小
)
# 测试数据
test_generator = test_datagen.flow_from_directory(
'test', # 训练数据路径
target_size=(150, 150), # 设置图片大小
batch_size=batch_size # 批次大小
)
在经过了上篇博客的数据预处理后,在这一步我们所需要完成的任务就少了很多,我们只需要生成训练数据集和测试数据集即可。
这里的操作也相当的简单,但有一点要说的就是:rescale=1./255,这里的操作是对图片格式进行归一化处理,而归一化处理在深度学习中起着奇效,通过归一化处理,可以大大降低损失,提高准确度。
4.训练开始
至此,我们就完成了所有的前期工作,接下来,我们便可以开始训练模型了。 代码如下:
model.fit_generator(
train_generator,
steps_per_epoch=totalFileCount/batch_size,
epochs=10,
validation_data=test_generator,
validation_steps=1000/batch_size,
)
对于这个训练,有几个参数需要说明下:
train_generator:这就是上一步所生成的训练数据集。
validation_data:而这就是我们需要传入的上一步所生成的测试集。需要注意的是这里并不能像train_generator那样写法,必须得validation_data=test_generator这样写,带有validation_data=这样的赋值关系。
steps_per_epoch:使用训练集训练时,每次训练时使用完图片所需要的次数,受到batch_size(批次大小)和totalFileCount(文件总数)的影响。
validation_steps:使用测试集测试准确性时,每次测试时使用完图片所需要的次数,受到batch_size(批次大小)和totalFileCount(文件总数)的影响。
epochs:训练次数。但需要注意到是,训练次数越大,并不代表训练的效果会越好,并且训练次数一旦增大,所需要的时间也会增加。
由于笔者只是为了熟悉其操作,对于准确性要求并不是那么高,便只是达到了0.7427的准确度。
![训练过程](https://img-blog.csdnimg.cn/1f437eeb6ad24ac096d2c2f3da823c67.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBATGVvIEt1bw==,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center)
5.保存模型
代码如下:
model.save('CNN.h5')
将适合的模型保存。
总结
综上,再结合之前的博客,便是构建CNN神经网络的主要操作过程了。后续会继续完成VGG16模型这一块的博客。
由于博主也是刚开始学习,如有不足和问题,请指正。