Tensorflow 和 Keras 实现之间的比较（第 1 部分：模型）

2023-12-22

我正在尝试使用 Keras 重写 Tensorflow 网络。 Tensorflow中的模型定义为

def xavier_init(size):
    in_dim = size[0]
    xavier_stddev = 1. / tf.sqrt(in_dim / 2.)
    return tf.random_normal(shape=size, stddev=xavier_stddev)

def leaky_relu(x, alpha=0.2):
  return tf.nn.relu(x) - alpha * tf.nn.relu(-x)

X = tf.placeholder(tf.float32, shape=[None, 9, 15])
W1 = tf.Variable(xavier_init([135, 128]))
b1 = tf.Variable(tf.zeros(shape=[128]))
W11 = tf.Variable(xavier_init([128, 256]))
b11 = tf.Variable(tf.zeros(shape=[256]))
W12 = tf.Variable(xavier_init([256, 512]))
b12 = tf.Variable(tf.zeros(shape=[512]))
W13 = tf.Variable(xavier_init([512, 45]))
b13 = tf.Variable(tf.zeros(shape=[45]))

W2 = tf.Variable(xavier_init([135, 128]))
b2 = tf.Variable(tf.zeros(shape=[128]))
W21 = tf.Variable(xavier_init([128, 256]))
b21 = tf.Variable(tf.zeros(shape=[256]))
W22 = tf.Variable(xavier_init([256, 512]))
b22 = tf.Variable(tf.zeros(shape=[512]))
W23 = tf.Variable(xavier_init([512, 540]))
b23 = tf.Variable(tf.zeros(shape=[540]))

def fcn(x):
    out1 = tf.reshape(x, (-1, 135))
    out1 = leaky_relu(tf.matmul(out1, W1) + b1)
    out1 = leaky_relu(tf.matmul(out1, W11) + b11)
    out1 = leaky_relu(tf.matmul(out1, W12) + b12)
    out1 = leaky_relu(tf.matmul(out1, W13) + b13)
    out1 = tf.reshape(out1, (-1, 9, 5))

    out2 = tf.reshape(x, (-1, 135))
    out2 = leaky_relu(tf.matmul(out2, W2) + b2)
    out2 = leaky_relu(tf.matmul(out2, W21) + b21)
    out2 = leaky_relu(tf.matmul(out2, W22) + b22)
    out2 = leaky_relu(tf.matmul(out2, W23) + b23)
    out2 = tf.reshape(out2, [-1, 9, 4, 15])
    out2 = leaky_relu(tf.matmul(tf.transpose(out2, perm=[0, 2, 1, 3]), tf.transpose(out2, perm=[0, 2, 3, 1])))
    out2 = tf.transpose(out2, perm=[0, 2, 3, 1])
    return [out1, out2]

我已经“翻译”了这个，这是我的 Keras 实现

def keras_version():
    input = Input(shape=(135,), name='feature_input')
    out1 = Dense(128, kernel_initializer='glorot_normal', activation='linear')(input)
    out1 = LeakyReLU(alpha=.2)(out1)
    out1 = Dense(256, kernel_initializer='glorot_normal', activation='linear')(out1)
    out1 = LeakyReLU(alpha=.2)(out1)
    out1 = Dense(512, kernel_initializer='glorot_normal', activation='linear')(out1)
    out1 = LeakyReLU(alpha=.2)(out1)
    out1 = Dense(45, kernel_initializer='glorot_normal', activation='linear')(out1)
    out1 = LeakyReLU(alpha=.2)(out1)
    out1 = Reshape((9, 5))(out1)

    out2 = Dense(128, kernel_initializer='glorot_normal', activation='linear')(input)
    out2 = LeakyReLU(alpha=.2)(out2)
    out2 = Dense(256, kernel_initializer='glorot_normal', activation='linear')(out2)
    out2 = LeakyReLU(alpha=.2)(out2)
    out2 = Dense(512, kernel_initializer='glorot_normal', activation='linear')(out2)
    out2 = LeakyReLU(alpha=.2)(out2)
    out2 = Dense(540, kernel_initializer='glorot_normal', activation='linear')(out2)
    out2 = LeakyReLU(alpha=.2)(out2)
    out2 = Reshape((9, 4, 15))(out2)
    out2 = Lambda(lambda x: K.dot(K.permute_dimensions(x, (0, 2, 1, 3)), K.permute_dimensions(x, (0, 2, 3, 1))), output_shape=(4,9,9))(out2)
    out2 = Flatten()(out2)
    out2 = Dense(324, kernel_initializer='glorot_normal', activation='linear')(out2)
    # K.dot should be of size (-1, 4, 9, 9), so I set the output size to 324, and later on, reshaped data
    out2 = LeakyReLU(alpha=.2)(out2)
    out2 = Reshape((4, 9, 9))(out2)
    out2 = Lambda(lambda x: K.permute_dimensions(x, (0, 2, 3, 1)))(out2)

    out1 = Lambda(identity, name='output_1')(out1)
    out2 = Lambda(identity, name='output_2')(out2)

    return Model(input, [out1, out2])

我想知道这个实现是否正确，具体来说：

定义层尺寸的方式。
权重初始化的方式。
矩阵乘法被展平并重新整形的方式。

如果您能指出是否有错误实施或我理解不正确的地方，我将不胜感激。

编辑：这是摘要：

__________________________________________________________________________________________________
Layer (type)                    Output Shape         Param #     Connected to                     
==================================================================================================
feature_input (InputLayer)      (None, 135)          0                                            
__________________________________________________________________________________________________
dense_5 (Dense)                 (None, 128)          17408       feature_input[0][0]              
__________________________________________________________________________________________________
leaky_re_lu_5 (LeakyReLU)       (None, 128)          0           dense_5[0][0]                    
__________________________________________________________________________________________________
dense_6 (Dense)                 (None, 256)          33024       leaky_re_lu_5[0][0]              
__________________________________________________________________________________________________
leaky_re_lu_6 (LeakyReLU)       (None, 256)          0           dense_6[0][0]                    
__________________________________________________________________________________________________
dense_7 (Dense)                 (None, 512)          131584      leaky_re_lu_6[0][0]              
__________________________________________________________________________________________________
leaky_re_lu_7 (LeakyReLU)       (None, 512)          0           dense_7[0][0]                    
__________________________________________________________________________________________________
dense_1 (Dense)                 (None, 128)          17408       feature_input[0][0]              
__________________________________________________________________________________________________
dense_8 (Dense)                 (None, 540)          277020      leaky_re_lu_7[0][0]              
__________________________________________________________________________________________________
leaky_re_lu_1 (LeakyReLU)       (None, 128)          0           dense_1[0][0]                    
__________________________________________________________________________________________________
leaky_re_lu_8 (LeakyReLU)       (None, 540)          0           dense_8[0][0]                    
__________________________________________________________________________________________________
dense_2 (Dense)                 (None, 256)          33024       leaky_re_lu_1[0][0]              
__________________________________________________________________________________________________
reshape_2 (Reshape)             (None, 9, 4, 15)     0           leaky_re_lu_8[0][0]              
__________________________________________________________________________________________________
leaky_re_lu_2 (LeakyReLU)       (None, 256)          0           dense_2[0][0]                    
__________________________________________________________________________________________________
lambda_1 (Lambda)               (None, 4, 9, 9)      0           reshape_2[0][0]                  
__________________________________________________________________________________________________
dense_3 (Dense)                 (None, 512)          131584      leaky_re_lu_2[0][0]              
__________________________________________________________________________________________________
flatten_1 (Flatten)             (None, 324)          0           lambda_1[0][0]                   
__________________________________________________________________________________________________
leaky_re_lu_3 (LeakyReLU)       (None, 512)          0           dense_3[0][0]                    
__________________________________________________________________________________________________
dense_9 (Dense)                 (None, 324)          105300      flatten_1[0][0]                  
__________________________________________________________________________________________________
dense_4 (Dense)                 (None, 45)           23085       leaky_re_lu_3[0][0]              
__________________________________________________________________________________________________
leaky_re_lu_9 (LeakyReLU)       (None, 324)          0           dense_9[0][0]                    
__________________________________________________________________________________________________
leaky_re_lu_4 (LeakyReLU)       (None, 45)           0           dense_4[0][0]                    
__________________________________________________________________________________________________
reshape_3 (Reshape)             (None, 4, 9, 9)      0           leaky_re_lu_9[0][0]              
__________________________________________________________________________________________________
reshape_1 (Reshape)             (None, 9, 5)         0           leaky_re_lu_4[0][0]              
__________________________________________________________________________________________________
lambda_2 (Lambda)               (None, 9, 9, 4)      0           reshape_3[0][0]                  
__________________________________________________________________________________________________
output_1 (Lambda)               (None, 9, 5)         0           reshape_1[0][0]                  
__________________________________________________________________________________________________
output_2 (Lambda)               (None, 9, 9, 4)      0           lambda_2[0][0]                   
==================================================================================================
Total params: 769,437
Trainable params: 769,437
Non-trainable params: 0
__________________________________________________________________________________________________

None

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

python

tensorflow

Keras

Tensorflow 和 Keras 实现之间的比较（第 1 部分：模型）的相关文章

Python 类型提示 Dict 语法错误可变默认值是不允许的。使用“默认工厂”

我不知道为什么解释器会抱怨这个类型的字典对于这两个实例我得到一个不允许可变默认值使用默认工厂语法错误我使用的是 python 3 7 3 from dataclasses import dataclass from typing
让 VoiceChannel.members 和 Guild.members 返回完整列表的问题

每当我尝试使用 VoiceChannel members 或 Guild members 时它都不会提供适用成员的完整列表我从文本命令的上下文中获取 VoiceChannel 和 Guild 如下所示 bot command name
Gunicorn 工作人员无论如何都会超时

我正在尝试通过gunicorn运行一个简单的烧瓶应用程序但是无论我做什么我的工作人员都会超时无论是否有针对应用程序的活动工作人员在我设置任何内容后总是会超时timeout值到是什么导致它们超时当我发出请求时请求成功通过但工作
在 Python 中将列表元素作为单独的项目返回

Stackoverflow 的朋友们大家好我有一个计算列表的函数我想单独返回列表的每个元素如下所示接收此返回的函数旨在处理未定义数量的参数 def foo my list 1 2 3 4 return 1 2 3 4 列表中的元素数
matplotlib 图中点的标签

所以这是一个关于已发布的解决方案的问题我试图在我拥有的 matplotlib 散点图中的点上放置一些数据标签我试图在这里模仿解决方案是否有与 MATLAB 的 datacursormode 等效的 matplotlib https s
PyQt 使用 ctrl+Enter 触发按钮

我正在尝试在我的应用程序中触发确定按钮我当前尝试的代码是这样的 self okPushButton setShortcut ctrl Enter 然而它不起作用这是有道理的我尝试查找一些按键序列here http ftp ics
Tensorboard SyntaxError：语法无效

当我尝试制作张量板时出现语法错误尽管开源代码我还是无法理解我尝试搜索张量板的代码但不清楚即使我不擅长Python 我这样写路径C Users jh902 Documents logs因为我正在使用 Windows 10 但我不确定
打印数字时添加千位分隔符[重复]

这个问题在这里已经有答案了我真的不知道这个问题的名称所以它可能是一个不正确的标题但问题很简单如果我有一个数字例如 number 23543 second 68471243 我想要它使print 像这样 23 54368 471
Python 内置的 super() 是否违反了 DRY？

显然这是有原因的但我没有足够的经验来认识到这一点这是Python中给出的例子docs http docs python org 2 library functions html super class C B def method se
Python 3：将字符串转换为变量[重复]

这个问题在这里已经有答案了我正在从 txt 文件读取文本并且需要使用我读取的数据之一作为类实例的变量 class Sports def init self players 0 location name self players pla
使用 python/numpy 重塑数组

我想重塑以下数组 gt gt gt test array 11 12 13 14 21 22 23 24 31 32 33 34 41 42 43 44 为了得到 gt gt gt test2 array 11 12 21 22 13 14
未知错误：Chrome 无法启动：异常退出

当我使用 chromedriver 对 Selenium 运行测试时出现此错误 selenium common exceptions WebDriverException Message unknown error Chrome fail
当字段是数字时怎么说...在 mongodb 中匹配？

所以我的结果中有一个名为城市的字段结果已损坏有时它是一个实际名称有时它是一个数字以下代码显示所有记录 db zips aggregate project city substr city 0 1 sort city 1 我需要修
Django 视图中的“请求”是什么

在 Django 第一个应用程序的 Django 教程中我们有 from django http import HttpResponse def index request return HttpResponse Hello world
pandas - 包含时间序列数据的堆积条形图

我正在尝试使用时间序列数据在 pandas 中创建堆积条形图 DATE TYPE VOL 0 2010 01 01 Heavy 932 612903 1 2010 01 01 Light 370 612903 2 2010 01 01 Me
Pandas 组合不同索引的数据帧

我有两个数据框df 1 and df 2具有不同的索引和列但是有一些索引和列重叠我创建了一个数据框df索引和列的并集因此不存在重复的索引或列我想填写数据框df通过以下方式 for x in df index for y in df
重新分配唯一值 - pandas DataFrame

我在尝试着assign unique值在pandas df给特定的个人 For the df below Area and Place 会一起弥补unique不同的价值观jobs 这些值将分配给个人总体目标是使用尽可能少的个人诀窍在于这
如何将Python3设置为Mac上的默认Python版本？

有没有办法将 Python 3 8 3 设置为 macOS Catalina 版本 10 15 2 上的默认 Python 版本我已经完成的步骤看看它安装在哪里 ls l usr local bin python 我得到的输出是这样的
JSON：TypeError：Decimal（'34.3'）不是JSON可序列化的[重复]

这个问题在这里已经有答案了我正在运行一个 SQL 查询它返回一个小数列表当我尝试将其转换为 JSON 时出现类型错误查询 res db execute SELECT CAST SUM r SalesVolume 1000 0 AS
如何在Python脚本中从youtube-dl中提取文件大小？

我是 python 编程新手我想在下载之前提取视频音频大小任何 YouTube 视频 gt gt gt from youtube dl import YoutubeDL gt gt gt url https www youtube c

随机推荐

如何在给定时间后自动解锁 Oracle 中的表？

我有一些代码连接到 Oracle 数据库锁定表对其执行一些操作并解锁它我想知道如果我的程序在表被锁定时冻结锁会自动释放有什么方法可以设置 Oracle 自动执行此操作吗例如我正在考虑这样的内容如果用户 x 对表 y 保持锁
从硬拷贝中删除打印按钮

参考这个链接 http www w3schools com jsref met win print asp and this http www javascriptkit com howto newtech2 shtml 我使用 javas
java.lang.Class 方法线程安全吗？

在 IBM JVM 下当多个线程尝试同时对不同对象但具有相同注释调用 Class getAnnotation 时我们遇到了一个问题线程开始死锁等待 Hashtable 内的监视器该 Hashtable 用作 IBM JVM 中注
GWT 和 XSRF 保护

我正在寻找可能的解决方案来保护我的 GWT 应用程序免受 XSRF 的影响如果我明白的话GWT的解决方案 http code google com webtoolkit doc latest DevGuideSecurityRpcXsrf
如何将 Android 默认相机应用程序设置为仅纵向

在我的 Android 应用程序中我正在使用Android default camera为此我使用了下面的代码捕获照片后我已以全屏模式将该图像显示到另一个活动中如果我捕获图像portrait模式我可以将整个图像设置为全屏模式它
Java 9：如何在 FileVisitor.visitFile() 中检索 ctime？

我正在寻找一种有效的方法来检索ctime信息存储在sun nio fs UnixFileAttributes期间Files walkFileTree Files walkFileTree root EnumSet noneOf FileVi
Android 在使用 copyPixelsToBuffer 时如何应用 alpha 通道？

相关主题暂无解决方案访问ARGB 8888 Android Bitmap中的原始数据 https stackoverflow com questions 5010545 access to raw data in argb 8888 a
在 Ruby 中对字符串数组进行排序

我在Ruby中学习了两种数组排序方法 array one two three array sort reverse or array one two three array sort x y y lt gt x 我无法区分两者哪种方法更好
如何获取 Xcode“clang”编译时错误的调用？

我在 Xcode 中收到包含此消息的编译时错误 clang 错误链接器命令失败退出代码为 1 使用 v 查看调用 This v显然是一个命令行选项我以前遇到过这条消息并且一直不知所措不知道我能对此做什么以及如果我对此无能为力为
当存在 html 5 占位符属性时，在 Internet Explorer 中的字段焦点上触发 jQuery UI 自动完成

HTML
在.net应用程序中嵌入流程图设计界面[关闭]

Closed 这个问题正在寻求书籍工具软件库等的推荐不满足堆栈溢出指南 help closed questions 目前不接受答案我需要将流程图设计界面合并到我们正在开发的应用程序中以允许用户创建本质上是工作流程时间表的内容我
我无法在 netbeans v11 中添加 weblogic 服务器

I have installed the Weblogic 12c server and I want to add it to a project in Netbeans 11 When I select add server from
确定本周日期属性的范围？

我正在尝试确定本周所有产品的范围因此它应该显示一周中任意一天之前的所有产品 class Product lt ActiveRecord Base attr accessible purchase date def self this we
是否有工具可以在 ANTLR 和其他形式的 BNF 之间进行转换？ [关闭]

Closed 这个问题正在寻求书籍工具软件库等的推荐不满足堆栈溢出指南 help closed questions 目前不接受答案是否有任何工具可以将 ANTLR 语法与其他 BNF 语法相互转换巴科斯诺尔范式有多种形式 BNF
詹金斯 ng 命令未找到

下面是在我的 Windows 10 机器上运行的 Nodejs 和 Angular CLI 版本角度 CLI 8 3 5 节点 10 16 3 操作系统 win32 x64 角度 8 2 7 我已经创建了 jenkins 作业来在我的本地
是否可以在python中导入.fst文件

The fstR 中的包提供了极快的读写速度并且需要更少的硬盘空间请参阅 R 中的基准测试结果 here https www fstpackage org 我想知道是否可以在 Python 中读取 fst 文件我还没有找到在 Pyth
如何使用 C 语言对性能优化进行单元测试？

我一直在开发一个可进行图像处理的可移植 C 库我在几个低级函数上投入了相当多的时间以便利用 GCC 自动矢量化 SSE 和或 AVX 取决于目标处理器模式同时仍然保留一些可移植的 C 代码使用的扩展 restrict and b
测试名为 setResult 的活动

我正在为一个活动编写测试我的测试类扩展了 ActivityInstrumentationTestCase2 我已经编写了一些基本测试并且工作正常但是我的活动完成后会通过 setResult resultcode Intent i 将额
C++/VS2005：在两个不同的 .cpp 文件中定义相同的类名

有点学术问题但我在编写一些单元测试时遇到了这个问题我的单元测试框架 UnitTest 允许您创建结构来充当固定装置通常这些是根据文件中的测试定制的所以我将它们放在单元测试文件的顶部 Tests1 cpp struct MyFixtu
Tensorflow 和 Keras 实现之间的比较（第 1 部分：模型）

我正在尝试使用 Keras 重写 Tensorflow 网络 Tensorflow中的模型定义为 def xavier init size in dim size 0 xavier stddev 1 tf sqrt in dim 2 ret

Tensorflow 和 Keras 实现之间的比较（第 1 部分：模型）

Tensorflow 和 Keras 实现之间的比较（第 1 部分：模型） 的相关文章

随机推荐

热门标签

Tensorflow 和 Keras 实现之间的比较（第 1 部分：模型）的相关文章