Keras框架下的猫狗识别(二)

2023-10-30

Tensorflow学习(使用jupyter notebook)

Keras框架下的猫狗识别(一)


前言

紧接上文
Keras框架下的猫狗识别(一)

  上文提到对于数据集的提前处理方法和技巧,而在这篇博客中,我们继续进行对该识别模型的构建和训练验证。   该模型是基于最简单的CNN模型,并不保证其较高的准确性,目的只是为了熟悉CNN神经网络的简单构建。

一、数据预处理

Keras框架下的猫狗识别(一)

  在上一篇博客中,博主已经将数据预处理的内容和技巧简述大概。这里就不再多余重复。这篇博客的重点是CNN暑假网络的构建方法和流程。

二、使用步骤

1.引入库

代码如下:

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Convolution2D, MaxPooling2D
from tensorflow.keras.layers import Activation, Dropout, Flatten, Dense
from tensorflow.keras.optimizers import Adam
from tensorflow.keras.preprocessing.image import ImageDataGenerator
import os
  首先,最重要的还是要先引入模型训练所需要的库来作为模型搭建的基础。这里我先对引入的库做一个大概的介绍:

Sequential:字面上的翻译是顺序,但是在这里可就不是简单的连续了。相反的,Sequential模型可以构建非常复杂的神经网络,包括全连接神经网络、卷积神经网络(CNN)、循环神经网络(RNN)、等等。

Convolution2D:卷积层,一般用在和图像处理有关的模型构建中

MaxPooling2D:池化层

Activatione:激活函数,一般常用的激活函数有 relu、valid

Dropout,:Dropout可以比较有效的缓解过拟合的发生,在一定程度上达到正则化的效果。

Flatten:Flatten层用来将输入“压平”,即把多维的输入一维化,常用在从卷积层到全连接层的过渡

Dense:Dense layer 就是常提到和用到的全连接层

Adam:优化器

ImageDataGenerator:用以对数据文件的处理

2.定义模型

代码如下:

#定义模型
model = Sequential()
model.add(Convolution2D(input_shape=(150,150,3), filters=32, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(Convolution2D(filters=32, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(MaxPooling2D(pool_size=2, strides=2, padding='valid'))

model.add(Convolution2D(filters=64, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(Convolution2D(filters=64, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(MaxPooling2D(pool_size=2, strides=2, padding='valid'))

model.add(Convolution2D(filters=128, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(Convolution2D(filters=128, kernel_size=3, strides=1, padding='same', activation = 'relu'))
model.add(MaxPooling2D(pool_size=2, strides=2, padding='valid'))

model.add(Flatten())
model.add(Dense(64,activation = 'relu'))
model.add(Dropout(0.5))
model.add(Dense(2,activation = 'softmax'))

# 定义优化器
adam = Adam(lr=1e-4)

# 定义优化器,loss function,训练过程中计算准确率
model.compile(optimizer=adam,loss='categorical_crossentropy',metrics=['accuracy'])

model.summary()
  这里的就是搭建了一段简单的CNN神经网络,使用卷积层、池化层、全连接层 、Flatten层相互堆叠而形成的一个拥有2941,410神经元的神经网络模型。   当然,笔者这里构建的神经网络只是一个示范。这样构建的神经网络也可能是导致最后模型准确度不高的原因之一。对于神经网络的搭建,仍然有着更好的方法来搭建更好的模型来使得准确性提高,同时也可以极大的缩短训练所需要的时间。

3.训练数据生成

代码如下:

# 训练集数据处理
train_datagen = ImageDataGenerator(
        rescale=1./255,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True)

# 测试集数据处理
test_datagen = ImageDataGenerator(rescale=1./255)

batch_size = 32
# 生成训练数据
train_generator = train_datagen.flow_from_directory(
        'train',  # 训练数据路径
        target_size=(150, 150),  # 设置图片大小
        batch_size=batch_size # 批次大小
        ) 

# 测试数据
test_generator = test_datagen.flow_from_directory(
        'test',  # 训练数据路径
        target_size=(150, 150),  # 设置图片大小
        batch_size=batch_size # 批次大小
        )
  在经过了上篇博客的数据预处理后,在这一步我们所需要完成的任务就少了很多,我们只需要生成训练数据集和测试数据集即可。   这里的操作也相当的简单,但有一点要说的就是:rescale=1./255,这里的操作是对图片格式进行归一化处理,而归一化处理在深度学习中起着奇效,通过归一化处理,可以大大降低损失,提高准确度。

4.训练开始

  至此,我们就完成了所有的前期工作,接下来,我们便可以开始训练模型了。 代码如下:
model.fit_generator(
        train_generator,
        steps_per_epoch=totalFileCount/batch_size,
        epochs=10,
        validation_data=test_generator,
        validation_steps=1000/batch_size,
        )
  对于这个训练,有几个参数需要说明下:

train_generator:这就是上一步所生成的训练数据集。

validation_data:而这就是我们需要传入的上一步所生成的测试集。需要注意的是这里并不能像train_generator那样写法,必须得validation_data=test_generator这样写,带有validation_data=这样的赋值关系。

steps_per_epoch:使用训练集训练时,每次训练时使用完图片所需要的次数,受到batch_size(批次大小)和totalFileCount(文件总数)的影响。

validation_steps:使用测试集测试准确性时,每次测试时使用完图片所需要的次数,受到batch_size(批次大小)和totalFileCount(文件总数)的影响。

epochs:训练次数。但需要注意到是,训练次数越大,并不代表训练的效果会越好,并且训练次数一旦增大,所需要的时间也会增加。

  由于笔者只是为了熟悉其操作,对于准确性要求并不是那么高,便只是达到了0.7427的准确度。

训练过程

5.保存模型

代码如下:

model.save('CNN.h5')
  将适合的模型保存。

总结

  综上,再结合之前的博客,便是构建CNN神经网络的主要操作过程了。后续会继续完成VGG16模型这一块的博客。   由于博主也是刚开始学习,如有不足和问题,请指正。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Keras框架下的猫狗识别(二) 的相关文章

  • 修改Keras中的层权重

    我正在尝试修改 Keras 中某个层的输出 我有一个编码器 它将时间序列转换为潜在空间 之后 对于每个压缩的时间序列 我想向时间序列添加一些数字 例如我有 input d Input 100 h1 d Reshape 100 1 input
  • 使用 Keras Tuner 调整模型时如何跳过有问题的超参数组合?

    使用 Keras Tuner 时 似乎没有办法允许跳过有问题的超参数组合 例如 Conv1D 层中的过滤器数量可能与后续 MaxPooling1D 层中的池大小的所有值不兼容 从而导致模型构建错误 然而 在运行调谐器之前可能不知道这一点 一
  • Tensorflow新Op CUDA内核内存管理

    我已经使用 GPU CUDA 内核在 Tensorflow 中实现了一个相当复杂的新 Op 该操作需要大量动态内存分配 这些变量不是张量 并且在操作完成后被释放 更具体地说 它涉及使用哈希表 现在我正在使用cudaMalloc and cu
  • Tensorflow如何生成不平衡组合数据集

    我对新数据集 API tensorflow 1 4 有疑问 我有两个数据集 我需要创建一个组合的不平衡数据集 即 每个批次应包含第一个数据集中一定数量的元素和第二个数据集中一定数量的元素 例如 dataset1 tf data Datase
  • 从字符串列表创建 TfRecords 并在解码后在张量流中提供图形

    目的是创建 TfRecords 数据库 给定 我有 23 个文件夹 每个文件夹包含 7500 个图像 以及 23 个文本文件 每个文件有 7500 行描述单独文件夹中 7500 个图像的特征 我通过以下代码创建了数据库 import ten
  • 如何将两个 keras 模型连接成一个模型?

    假设我有一个 ResNet50 模型 我希望将该模型的输出层连接到 VGG 模型的输入层 这是 ResNet 模型和 ResNet50 的输出张量 img shape 164 164 3 resnet50 model ResNet50 in
  • Tensorflow 到 ONNX 的转换

    我目前正在尝试转换我使用本教程创建的已保存 且正在工作 的 pb 文件 https github com thtrieu darkflow https github com thtrieu darkflow 到 onnx 文件中 我目前正在
  • Keras:binary_crossentropy 和 categorical_crossentropy 混淆

    使用 TensorFlow 一段时间后 我阅读了一些 Keras 教程并实现了一些示例 我找到了几个使用卷积自动编码器的教程keras losses binary crossentropy作为损失函数 我想binary crossentro
  • 需要 TensorFlow 依赖项。如何在 Windows 上运行 TensorFlow

    我有兴趣让 TensorFlow 在 Windows 上运行 但目前我意识到这是不可能的 因为某些依赖项无法在 Windows 上使用 例如巴泽尔 之所以出现这种需求 是因为据我目前了解 从 TensorFlow 访问 GPU 的唯一方法是
  • 对输入求 Keras 模型的导数返回全零

    所以我有一个 Keras 模型 我想将模型的梯度应用于其输入 这就是我所做的 import tensorflow as tf from keras models import Sequential from keras layers imp
  • Keras 模型无法预测是否在线程中调用

    我尝试在线程应用程序中使用 keras 和可用模型 VGG16 执行预测 但是 如果我在主线程中调用预测 一切都会正常 但是如果我在线程函数内部进行预测 无论我使用threading multiprocessing 它只是在预测过程中停止
  • 使用 Tkinter 显示 numpy 数组中的图像

    我对 Python 缺乏经验 第一次使用 Tkinter 制作一个 UI 显示我的数字分类程序与 mnist 数据集的结果 当图像来自 numpy 数组而不是我的 PC 上的文件路径时 我有一个关于在 Tkinter 中显示图像的问题 我为
  • NotImplementedError:无法将符号张量 (lstm_2/strided_slice:0) 转换为 numpy 数组。时间

    张量流版本 2 3 1 numpy 版本 1 20 在代码下面 define model model Sequential model add LSTM 50 activation relu input shape n steps n fe
  • 使用tensorflow获取真阳性、假阳性、假阴性和真阴性列表

    这是我的工作 我注释了 活 细胞的图像 约 8 000 和 死 细胞的图像 约 2 000 800 和 200 用于测试集 我正在使用 CNN 带有张量流和 keras 将图像分类为 活 或 死 我训练了我的模型 验证损失 0 35 召回率
  • 获取 Keras model.summary() 作为表

    我在 Keras 中创建了相当大的模型 我正在用 LaTeX 写一篇关于它的文章 为了很好地描述 LaTeX 中的 keras 模型 我想用它创建一个 LaTeX 表 我可以手动实现它 但我想知道是否有任何 更好 的方法来实现这一点 我四处
  • tf.print() vs Python print vs tensor.eval()

    看来在Tensorflow中 至少有三种方法可以打印出张量的值 我一直在读here https www freecodecamp org news debugging tensorflow a starter e6668ce72617 an
  • Tensorflow Eager Execution 不适用于学习率衰减

    在这里尝试让一个热切的执行模型与 LR 衰减一起工作 但没有成功 这似乎是一个错误 因为学习率衰减张量似乎没有更新 如果我遗漏了什么 你可以帮我一下吗 谢谢 下面的代码正在学习一些词嵌入 但是 那学习率衰减部分根本不起作用 class Wo
  • TensorFlow Bazel 构建失败

    我正在使用 Bazel 构建 TensorFlowbazel build c opt config cuda tensorflow cc tutorials example trainer按照 TensorFlow 的指示 从源安装 说明
  • 错误优化器参数在 Keras 函数中不合法

    我使用以下代码来计算数据生成质量指标的拟合优度研究的概率标签 from sklearn model selection import StratifiedKFold from sklearn model selection import K
  • 我无法使用 scikeras.wrappers.KerasRegressor 执行 cross_val_score

    from tensorflow import keras from sklearn model selection import cross val score from sklearn datasets import make regre

随机推荐

  • MyEclipse中文乱码,编码格式设置,文件编码格式

    一 设置新建常见文件的默认编码格式 也就是文件保存的格式 在不对MyEclipse进行设置的时候 默认保存文件的编码 一般跟简体中文操作系统 如windows2000 windowsXP 的编码一致 即GBK 在简体中文系统下 ANSI 编
  • 使用swc 替换ts-loader 加速构建webpack + vue3 + tsx项目

    环境 webpack 5 74 0 swc core 1 3 11 babel core 7 19 1 vue 2 7 10 使用swc编译ts tsx代码 根据swc官网文档 swc core SWC我们可以用swc loader 替换
  • Spring Boot框架基础介绍

    Spring Boot 是一款基于 Spring 框架的开源应用程序开发工具 它旨在简化 Spring 应用程序的配置和开发过程 Spring Boot 提供了一种简单的方式来创建可独立运行的 生产级别的应用程序 并在需要时进行部署 Spr
  • PHP获取网络图片保存到本地

    PHP获取网络图片保存到本地 if fopen dg image r php判断图片是不是网络图片 filename upload goods image g id jpg if file exists filename dg image
  • Win10中使用Hyper-V安装Ubuntu18.04、实现ssh远程连接及Hpyer-V中Ubuntu全屏问题

    利用Windows10自带的虚拟机Hyper V安装Ubuntu18 04 并实现配置主机通过ssh连接Hpyer V中Ubuntu虚拟机 同时解决Ubuntu虚拟机在Hpyer V全屏时不能铺满屏幕的问题 首先安装Hyper V 打开Wi
  • hexo博客优化之文章置顶+置顶标签

    本文首发于wangwlj com 博文置顶 一种方法是手动对相关文件进行修改 具体可参考这篇文章 另一种方法就是 目前已经有修改后支持置顶的仓库 可以直接用以下命令安装 npm uninstall hexo generator index
  • 剑指Offer—— 链表的公共点

    题目表述 输入两个链表 找出它们的第一个公共结点 首先要明白一点 两条链表相交 则他们的形状类似Y 而不是X 所以 从相交的点以后 两条链表的所有结点都是一样的 我们只要找出第一个相同的结点即可 1 我们分别算出两条链表的长度 2 算出两条
  • 用AI配置一台高性能电脑

    首先 并没有什么性价比很高的台式机 这个前提肯定是要有参考物的 比如你要用这个电脑主要是干嘛的 办公的 打游戏的 其次是预算了 我是打游戏的 你给我配一台办公的 办公的肯定性价比高 便宜 但并不符合我实际的需求 例 游戏电脑配置清单 i5
  • Makefile中的匹配符%

    一 匹配符 Make命令允许对文件名 进行类似正则运算的匹配 主要用到的匹配符是 比如 假定当前目录下有 f1 c 和 f2 c 两个源码文件 需要将它们编译为对应的对象文件 o c 等同于下面的写法 f1 o f1 c f2 o f2 c
  • 浏览器查找js绑定或者监听的事件

    1 打开浏览器审核模式 2 选择源代码 3 最右边有个事件监听断点 4 以触摸模式为例 如果代码中有监听触屏事件 移动的时候就会触发相关js代码 并找到位置
  • Linux线程介绍(Linux 系统编程)

    进程与线程 典型的UNIX Linux进程可以看成只有一个控制线程 一个进程在同一时刻只做一件事情 有了多个控制线程后 在程序设计时可以把进程设计成在同一时刻做不止一件事 每个线程各自处理独立的任务 进程是程序执行时的一个实例 是担当分配系
  • 性能测试必备监控技能windows篇

    前言 在手头没有专门的第三方监控时 该怎么监控服务指标呢 本篇就windows下监控进行分享 也是我们在进行性能测试时 必须掌握的 下面我们就windows下常用的三种监视工具进行说明 任务管理器 资源监视器 性能监视器 在 开始 gt 开
  • 分页、关联查询优化

    文章目录 一 分页查询示例 1 分页查询优化 1 1 根据自增且连续的主键排序的分页查询 1 2 根据非主键字段排序的分页查询 二 Join关联查询优化 1 Join关联查询示例表 2 常见表关联算法 2 1 嵌套循环连接 Nested L
  • 跟据经纬度实现附近搜索

    现在很多手机软件都用附近搜索功能 但具体是怎么实现的呢 在网上查了很多资料 mysql空间数据库 矩形算法 geohash我都用过了 当数据上了百万之后mysql空间数据库方法是最强最精确的 查询前100条数据只需5秒左右 接下来推出一个原
  • IIS设置连接超时

    连接超时有助于减少由空闲连接消耗的处理资源损失 启用连接超时时 IIS 会在连接级别执行以下类型的连接超时 客户端已向服务器发送了数据 现处于空闲状态造成的连接超时 已建立了与服务器的连接 但客户端未发送数据时造成的服务器侦听超时 响应超时
  • 使用 Jenkins 实现Android自动化打包和踩坑经历

    每当有项目做的过程中 测试需要做单元测试 每次手动的切换生产和测试环境 切换各种推送 统计和第三方账号相当的麻烦 同时还需要暂存代码 切换分支深的太过繁琐 此时如果将项目配置自动化打包了 那么就可以将这些问题解决了 我们来看一下Jenkin
  • Web渗透测试实战——(1)Web渗透测试简介

    Web渗透测试实战 1 Web渗透测试简介 一 什么是渗透测试 二 渗透测试类型 三 渗透测试阶段 1 信息收集与侦查 2 枚举 3 漏洞评估与分析 4 漏洞利用 5 报告 四 常用的测试方法学 五 推荐的测试平台 一 什么是渗透测试 渗透
  • ubuntu vnc 内网穿透远程连接

    实现ubuntu 系统桌面级别的远程连接 需要在ubuntu 系统中安装vnc 既然是桌面 前提是需要ubuntu 带有图形化界面 如果没有 可以执行以下命令安装图形化界面 sudo apt install ubuntu desktop s
  • 快速熟悉Vue项目

    一 快速梳理大型vue项目整体架构技巧方法总结 首先对于Vue Cli搭建的项目 一定要知道项目的目录结构 如果目录结构都不了解 那一定会很头痛 查看 package json 配置文件 了解项目引用了哪些额外插件和框架 查看 router
  • Keras框架下的猫狗识别(二)

    Tensorflow学习 使用jupyter notebook Keras框架下的猫狗识别 一 模型构建与训练 Tensorflow学习 使用jupyter notebook 前言 一 数据预处理 二 使用步骤 1 引入库 2 定义模型 3