联邦学习:将自己的图像数据集转换为tff模拟Clientdata

2023-12-14

这是我的联邦学习测试的代码

from __future__ import absolute_import, division, print_function
import os
import collections
import warnings
from six.moves import range
import numpy as np
import six
import tensorflow as tf
import tensorflow_federated as tff
from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau, ModelCheckpoint
import PIL


#pretrain

train_datagen1 = tf.keras.preprocessing.image.ImageDataGenerator(vertical_flip=True)
training_set1= train_datagen1.flow_from_directory('folder1/train',target_size=(200, 200), batch_size=32)



)




现在,当我想像用于图像分类的tensorflow federtaed中的教程一样创建sample_batch时

我写了这一行,它发现了这个错误

example_dataset = training_set1.create_tf_dataset_for_client(training_set1.client_ids[0])

错误


TypeError Traceback(最近一次调用最后一次) 在 1 个training_set1.element_type_struct ----> 2 example_dataset = Training_set1.create_tf_dataset_for_client(training_set1.client_ids[0])

类型错误:“abstractproperty”对象不支持索引


你能告诉我我必须如何创建 dummy_batch 才能将 keras 模型转换为 tff.learning.from_compiled_keras_model(model, dummy_batch)


感谢您对 TFF 的关注!

一般来说,TFF 旨在摄取tf.data.Dataset对象,因此上面的示例需要一些额外的预处理。

好消息是,有一个现有教程显示执行此操作的示例。在上面,类似下面的内容应该有效:

ds = tf.data.Dataset.from_generator(
    img_gen.flow_from_directory, args=[<your_directory>], 
    output_types=<your_types>, 
    output_shapes=<your_shapes>
)

一般来说,人们可以思考ClientData对象是一种幻想dict将客户端 ID 映射到tf.data.Datasets. ClientData本身是一个抽象类,因此不能直接实例化,并且提供了类方法来构造真实的实例化ClientData。一种应该在这里工作的类方法是tff.simulation.ClientData.from_clients_and_fn。在这里,如果您传递一个列表client_ids以及一个在给定客户端 ID 时返回适当数据集的函数,您将拥有一个功能齐全的ClientData.

我认为在这里,定义您可能使用的函数的方法是构造一个Pythondict它将客户端 ID 映射到tf.data.Dataset对象——然后您可以定义一个函数,它接受客户端 ID,在字典中查找数据集,然后返回数据集。

希望这有帮助!

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

联邦学习:将自己的图像数据集转换为tff模拟Clientdata 的相关文章

  • 通过 Scrapy 抓取 Google Analytics

    我一直在尝试使用 Scrapy 从 Google Analytics 获取一些数据 尽管我是一个完全的 Python 新手 但我已经取得了一些进展 我现在可以通过 Scrapy 登录 Google Analytics 但我需要发出 AJAX
  • 在 python 程序中合并第三方库的最佳实践是什么?

    下午好 我正在为我的工作编写一个中小型Python程序 该任务需要我使用 Excel 库xlwt and xlrd 以及一个用于查询 Oracle 数据库的库 称为CX Oracle 我正在通过版本控制系统 即CVS 开发该项目 我想知道围
  • Python 的键盘中断不会中止 Rust 函数 (PyO3)

    我有一个使用 PyO3 用 Rust 编写的 Python 库 它涉及一些昂贵的计算 单个函数调用最多需要 10 分钟 从 Python 调用时如何中止执行 Ctrl C 好像只有执行结束后才会处理 所以本质上没什么用 最小可重现示例 Ca
  • 将 saxon 与 python 结合使用

    我需要使用 python 处理 XSLT 目前我正在使用仅支持 XSLT 1 的 lxml 现在我需要处理 XSLT 2 有没有办法将 saxon XSLT 处理器与 python 一起使用 有两种可能的方法 设置一个 HTTP 服务 接受
  • Django:按钮链接

    我是一名 Django 新手用户 尝试创建一个按钮 单击该按钮会链接到我网站中的另一个页面 我尝试了一些不同的例子 但似乎没有一个对我有用 举个例子 为什么这不起作用
  • 使用 matplotlib 绘制时间序列数据并仅在年初显示年份

    rcParams date autoformatter month b n Y 我正在使用 matpltolib 来绘制时间序列 如果我按上述方式设置 rcParams 则生成的图会在每个刻度处标记月份名称和年份 我怎样才能将其设置为仅在每
  • 如何使用Conda下载python包并随后离线安装?

    我知道通过 pip 我可以使用以下命令下载 Python 包 但 pip install 破坏了我的内部包依赖关系 当我做 pip download
  • 根据列值突出显示数据框中的行?

    假设我有这样的数据框 col1 col2 col3 col4 0 A A 1 pass 2 1 A A 2 pass 4 2 A A 1 fail 4 3 A A 1 fail 5 4 A A 1 pass 3 5 A A 2 fail 2
  • 基于代理的模拟:性能问题:Python vs NetLogo & Repast

    我正在 Python 3 中复制一小段 Sugarscape 代理模拟模型 我发现我的代码的性能比 NetLogo 慢约 3 倍 这可能是我的代码的问题 还是Python的固有限制 显然 这只是代码的一个片段 但 Python 却花费了三分
  • 以编程方式停止Python脚本的执行? [复制]

    这个问题在这里已经有答案了 是否可以使用命令在任意行停止执行 python 脚本 Like some code quit quit at this point some more code that s not executed sys e
  • 如何加速Python中的N维区间树?

    考虑以下问题 给定一组n间隔和一组m浮点数 对于每个浮点数 确定包含该浮点数的区间子集 这个问题已经通过构建一个解决区间树 https en wikipedia org wiki Interval tree 或称为范围树或线段树 已经针对一
  • 如何在Python中获取葡萄牙语字符?

    我正在研究葡萄牙语 角色看起来很奇怪 我怎样才能解决这个问题 代码 import feedparser import random Vou definir os feeds feeds conf feedurl http pplware s
  • Flask如何获取请求的HTTP_ORIGIN

    我想用我自己设置的 Access Control Allow Origin 标头做出响应 而弄清楚请求中的 HTTP ORIGIN 参数在哪里似乎很混乱 我在用着烧瓶 0 10 1 以及HTTP ORIGIN似乎是这个的特点之一object
  • 如何在seaborn displot中使用hist_kws

    我想在同一图中用不同的颜色绘制直方图和 kde 线 我想为直方图设置绿色 为 kde 线设置蓝色 我设法弄清楚使用 line kws 来更改 kde 线条颜色 但 hist kws 不适用于显示 我尝试过使用 histplot 但我无法为
  • 每个 X 具有多个 Y 值的 Python 散点图

    我正在尝试使用 Python 创建一个散点图 其中包含两个 X 类别 cat1 cat2 每个类别都有多个 Y 值 如果每个 X 值的 Y 值的数量相同 我可以使用以下代码使其工作 import numpy as np import mat
  • 对年龄列进行分组/分类

    我有一个数据框说df有一个柱子 Ages gt gt gt df Age 0 22 1 38 2 26 3 35 4 35 5 1 6 54 我想对这个年龄段进行分组并创建一个像这样的新专栏 If age gt 0 age lt 2 the
  • 为字典中的一个键附加多个值[重复]

    这个问题在这里已经有答案了 我是 python 新手 我有每年的年份和值列表 我想要做的是检查字典中是否已存在该年份 如果存在 则将该值附加到特定键的值列表中 例如 我有一个年份列表 并且每年都有一个值 2010 2 2009 4 1989
  • 发送用户注册密码,django-allauth

    我在 django 应用程序上使用 django alluth 进行身份验证 注册 我需要创建一个自定义注册表单 其中只有一个字段 电子邮件 密码将在服务器上生成 这是我创建的表格 from django import forms from
  • Python 类继承 - 诡异的动作

    我观察到类继承有一个奇怪的效果 对于我正在处理的项目 我正在创建一个类来充当另一个模块的类的包装器 我正在使用第 3 方 aeidon 模块 用于操作字幕文件 但问题可能不太具体 以下是您通常如何使用该模块 project aeidon P
  • 如何将输入读取为数字?

    这个问题的答案是社区努力 help privileges edit community wiki 编辑现有答案以改进这篇文章 目前不接受新的答案或互动 Why are x and y下面的代码中使用字符串而不是整数 注意 在Python 2

随机推荐

  • 使用 OpenCV 和 Python 显示网络摄像头源

    我一直在尝试创建一个简单的程序Python它使用 OpenCV 从我的网络摄像头获取视频源并将其显示在屏幕上 我知道我部分在那里 因为窗口已创建并且网络摄像头上的灯闪烁 但窗口中似乎没有显示任何内容 希望有人能解释我做错了什么 import
  • 如何在嵌套列表上使用映射函数并将字符串转换为整数?

    我需要使用Python 2 4 4 中的map函数为列表中的每个项目加1 所以我尝试将字符串转换为整数 line 10 13 n 3 4 n 5 3 n 1 13 map lambda X X 1 int line 这不起作用是因为 n还有
  • 指针和多维数组[重复]

    这个问题在这里已经有答案了 可能的重复 如何在 C 中使用数组 二维数组是双指针吗 二维数组和指针 我知道这是一个非常基本的问题 但无论经过多少谷歌搜索 我都无法弄清楚这一点 这就是我将其发布在这里的原因 在 C 中考虑声明int x 10
  • getch() 和 getchar() 有什么区别?

    两者之间的确切区别是什么getch and getchar功能 getchar 是一个从标准输入获取字符的标准函数 getch 是非标准的 它从键盘获取一个字符 可能与标准输入不同 并且不回显它
  • 解码作为 json 响应返回的 html - android

    我将编码后的 html 作为 json 响应进行跟踪 并且不知道如何将其解码为正常的 html 字符串 顺便说一下 这是一个 achor 标签 x3ca hrefx3dx22http wordnetweb princeton edu per
  • 抛出异常时从堆栈跟踪和帧中获取文件名

    我试图在引发异常时获取文件名和源代码行号 但我什么也没得到 class Program static void Main string args try throw new InvalidOperationException catch I
  • C# try catch 语句中的变量作用域问题

    我不想在这里问这个简单的问题 但我已经研究了一段时间但无济于事 这极大地限制了我的申请 为什么我在 try 块内的 excelWorksheet 变量上出现红色波浪线 无法在此范围内声明名为 excelWorksheet 的本地或参数 因为
  • Swift 将货币字符串转换为双精度

    我有一根绳子 4 102 33 需要转换为双精度 这永远是美国 我唯一的方法是破解 and 然后转换为双精度 似乎NSFormatter只允许我转换为货币 而不是从货币转换 有没有内置功能或比仅仅删除更好的方法 and 在将其转换为双精度之
  • 10.8中如何显示文件复制进度

    FSCopyObject异步在 OS X v10 8 中已弃用 现在如何显示文件复制操作的进度指示器 我的回答假设你正在谈论展示一个项目的进展单个文件被复制 Yes FSCopyObjectAsync 已被弃用 但尚未消失 正如您所发现的
  • 使用 htaccess 重写特定文件的路径

    我想为具有长文件路径的目录中的特定文件创建一个友好的 URL 并重命名该文件 我什至不确定这是否可能 到目前为止我已经在 htaccess 中尝试过 RewriteEngine On Options FollowSymLinks Rewri
  • 使用 PIL 在 python 上向图像添加透明圆圈

    我有一个 python 程序 它创建一个带有圆圈的 png 文件 现在我希望这个圆是半透明的 给定一个 alpha 值 这是我所做的 img map Image new some arguments here tile Image open
  • 将 Woocommerce 变体属性下拉列表中的默认“选择选项”文本替换为不同的自定义文本

    我刚刚开始使用 Woocommerce 并对可变产品的下拉选择字段有疑问 在 woocommerce 中 如果在此下拉列表中未选择任何内容 则会显示 选择选项 文本 我需要每个下拉选择字段选项在尚未选择任何内容时显示不同的文本 我发现这段代
  • 在 MVC 视图中迭代匿名类型数据

    我将匿名类型的结果放入一些视图数据中 var projectData from p in db Projects orderby p title select new Title p title DevURL p devURL N A QA
  • 为什么返回响应的格式很奇怪?

    我正在学习node中的后端 我正在尝试执行以下代码 const axios require axios async function getData const resp await axios get https jsonplacehol
  • ng-animate:有条件地切换“返回”过渡(BUG?)

    大家好 通读这个谷歌群组以及从那里链接的小提琴和博客文章 我设法使用 ng animate 实现页面转换 Here s我的小提琴 the fiddle is nicely commented please let me know if an
  • mySQL子查询限制

    这可能是一个简单的 我怎样才能通过这个查询实现我想要的 delete from posts where id not in SELECT id FROM posts order by timestamp desc limit 0 15 所以
  • 如何从scrapy调用输出文件名

    scrapy crawl test o test123 csv 如何从代码中调用输出文件名 即我想使用在终端中输入的文件名spider closed功能 classmethod def from crawler cls crawler ar
  • 将产品标题移至 Woocommerce 存档页面上的产品图片上方

    我正在尝试将产品标题移至产品存档页面上的产品图像上方 我已经设法弄清楚如何移动信息 但价格也在图像上方移动 我只希望产品标题位于产品图片上方 价格应保持在较低水平 并带有 添加到购物车 按钮等 这是我的代码片段和迄今为止的结果屏幕截图 re
  • 奇怪/深奥的连接语法

    我已经获得了这个旧的 SQL 代码 表名已更改 来复制 并且 JOIN 语法不是我以前见过的东西 而且很难用 google 搜索到 select
  • 联邦学习:将自己的图像数据集转换为tff模拟Clientdata

    这是我的联邦学习测试的代码 from future import absolute import division print function import os import collections import warnings fr