将数据从 Google App Engine 导出到 csv

2024-02-06

This 旧答案 https://stackoverflow.com/questions/2810394/export-import-datastore-from-to-google-app-engine指向一个链接Google 应用引擎文档 http://code.google.com/appengine/docs/python/tools/uploadingdata.html,但该链接现在是关于备份您的游戏数据,而不是下载它。

那么如何将所有数据下载到csv中呢?数据很小,即


我尝试了几种不同的方法来使用概述的步骤导出到 csvhere http://gbayer.com/big-data/app-engine-datastore-how-to-efficiently-export-your-data/ and here https://stackoverflow.com/questions/21035194/reading-appengine-backup-info-file-gives-eoferror/35468260#35468260。但我两者都无法工作。所以,这就是我所做的(我最大的表约为 2GB)。尽管看起来有很多步骤,但它的工作速度相对较快......比与谷歌可能连续几个小时更改的随机代码进行斗争要好:

  1. 进入 Cloud Storage 并创建 2 个新存储桶“data_backup”和“data_export”。如果您已经有一个存储桶来存放东西,则可以跳过此步骤。
  2. 进入“我的控制台”> Google 数据存储 > 管理 > 打开您要转换的数据存储的数据存储管理。
  3. 勾选要备份的一个或多个实体,然后单击“备份实体”。我一次执行一个,因为我只有 5 个表要导出,而不是一次检查所有 5 个表。
  4. 指明您要存储它们的 Google Storage (gs) 存储桶
  5. 现在转到 Google Big Query(我以前从未使用过这个,但上手很简单)
  6. 单击向下的小箭头并选择“创建新数据集”并为其命名。
  7. 然后单击刚刚创建的新数据集旁边的向下箭头并选择“创建新表”。逐步执行导入步骤,选择“选择数据”步骤下的“云数据存储备份”。然后选择要导入 Big Query 的备份,以便在下一步中将其导出为 csv。
  8. 表导入后(这对我来说相当快),单击表名称旁边的向下箭头并选择“导出”。您可以直接导出到 csv,并且可以保存到您为导出创建的 Google 存储桶,然后从那里下载。

这里有一些提示:

  • 如果您的数据具有嵌套关系,则必须导出为 JSON 而不是 CSV(它们还提供 avro 格式,无论是什么)
  • 我使用 json2csv 来转换无法保存为 csv 的导出 JSON 文件。它在大桌子上运行有点慢,但可以完成。
  • 由于 json2csv 中的 python 内存错误,我不得不将 2GB 文件拆分为 2 个文件。我使用 gsplit 来拆分文件,并选中“其他属性”>“标签和标题”>“不添加 Gsplit 标签”下的选项...(这确保 Gsplit 不会向拆分文件添加任何数据)

就像我说的,尽管有很多步骤,但这实际上很快。希望它可以帮助人们避免花费大量时间尝试转换奇怪的备份文件格式或运行可能不再工作的代码。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

将数据从 Google App Engine 导出到 csv 的相关文章

  • 从 torch.autograd.gradcheck 导入 zero_gradients

    我想复制代码here https github com LTS4 DeepFool blob master Python deepfool py 并且我在 Google Colab 中运行时收到以下错误 ImportError 无法导入名称
  • App Engine 上的 Django 与 webapp2 [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • 从内存地址创建python对象(使用gi.repository)

    有时我需要调用仅存在于 C 中的 gtk gobject 函数 但返回一个具有 python 包装器的对象 之前我使用过基于 ctypes 的解决方案 效果很好 现在我从 PyGtk import gtk 切换到 GObject intro
  • pyCUDA无法打印结果

    最近 我使用 pip 为我的 python3 4 3 安装 pyCUDA 但我在测试示例代码时发现 https documen tician de pycuda tutorial html getting started https doc
  • Python,Google Places API - 给定一组纬度/经度查找附近的地点

    我有一个由商店 ID 及其纬度 经度组成的数据框 我想迭代该数据框 并使用 google api 为每个商店 ID 查找附近的关键地点 例如输入 Store ID LAT LON 1 1 222 2 222 2 2 334 4 555 3
  • Python 内置对象的 __enter__() 和 __exit__() 在哪里定义?

    我读到每次使用 with 时都会调用该对象的 enter 和 exit 方法 我知道对于用户定义的对象 您可以自己定义这些方法 但我不明白这对于 打开 等内置对象 函数甚至测试用例是如何工作的 这段代码按预期工作 我假设它使用 exit 关
  • Python speedtest.net,或等效的[关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 是否有一个 Python 库可以实现 SpeedTest net 测试或等效的互联网连接速度测试 GitHub上有一个项目叫速度检查 https gi
  • 会话数据库表清理

    该表是否需要清除或者由 Django 自动处理 Django 不提供自动清除功能 然而 有一个方便的命令可以帮助您手动完成此操作 Django 文档 清除会话存储 https docs djangoproject com en dev to
  • 为什么需要设置WORKON_HOME环境变量?

    我已经有一段时间没有使用 python 虚拟环境了 但我也安装了虚拟环境包装器 我的问题是 在文档页面中它说要这样做 export WORKON HOME Envs mkdir p WORKON HOME source usr local
  • 在 Python 中从 Excel 复制 YEARFRAC() 函数

    因此 我使用 python 来自动执行一些必须在 Excel 中执行的重复任务 我需要做的计算之一需要使用yearfrac 这在Python中被复制了吗 I found this https lists oasis open org arc
  • 如何知道python运行脚本的路径?

    sys arg 0 给我 python 脚本 例如 python hello py 返回 sys arg 0 的 hello py 但我需要知道 hello py 位于完整路径中的位置 我怎样才能用Python做到这一点 os path a
  • 如何从 python 脚本执行 7zip 命令

    我试图了解如何使用 os system 模块来执行 7zip 命令 现在我不想用 Popen 或 subprocess 让事情变得复杂 我已经安装了 7zip 并将 7zip exe 复制到我的用户文件夹中 我只想提取我的测试文件 inst
  • Python 在哪些系统上不使用 IEEE-754 双精度浮点数

    Python 对 IEEE 754 浮点运算进行了各种引用 但不保证1 https docs python org 3 tutorial floatingpoint html 2 https pythondev readthedocs io
  • 使用 python 脚本更改 shell 中的工作目录

    我想实现一个用户态命令 它将采用其参数之一 路径 并将目录更改为该目录 程序完成后 我希望 shell 位于该目录中 所以我想实施cd命令 但需要外部程序 可以在 python 脚本中完成还是我必须编写 bash 包装器 Example t
  • 根据标点符号列表替换数据框中的标点符号[重复]

    这个问题在这里已经有答案了 使用 Canopy 和 Pandas 我有数据框 a 其定义如下 a pd read csv text txt df pd DataFrame a df columns test test txt 是一个单列文件
  • 从给定的项目列表创建子列表

    我首先要说的是以下问题不是为了家庭作业目的即使因为我几个月前就完成了软件工程师的工作 无论如何 今天我正在工作 一位朋友向我询问了这个奇怪的排序问题 我有一个包含 1000 行的列表 每行代表一个数字 我想创建 10 个子列表 每个子列表都
  • AWS 将 MQTT 消息存储到 DynamoDB

    我构建了一个定期发送 MQTT 消息的 python 脚本 这是发送到后端的 JSON 字符串 Id 1234 Ut 1488395951 Temp 22 86 Rh 48 24 在后端 我想将 MQTT 消息存储到 DynamoDB 表中
  • PyQt5按钮lambda变量变成布尔值[重复]

    这个问题在这里已经有答案了 当我运行下面的代码时 它显示如下 为什么 x 不是 x 而是变成布尔值 这种情况仅发生在传递到用 lambda 调用的函数中的第一个参数上 错误的 y home me model some file from P
  • Chrome 驱动程序和 Chromium 二进制文件无法在 aws lambda 上运行

    我陷入了一个问题 我需要在 AWS lambda 上做一些抓取工作 所以我按照下面提到的博客及其代码库作为起点 这非常有帮助 并且在运行时环境 Python 3 6 的 AWS lambda 上对我来说工作得很好 https manivan
  • Tkinter 将鼠标点击绑定到框架

    我一定错过了一些明显的东西 我的 Tkinter 程序中有两个框架 每个框架在网格布局中都有一堆标签 我想将鼠标点击绑定到其中一个而不是另一个 我目前使用 root bind

随机推荐

  • 由于 node-gyp 无法安装 npm:找不到 binding.gyp

    我一整天都在研究这个问题 并尝试了很多不同的事情 卸载节点并安装最新版本 使用 msvs version 标志设置为2010 2011 2012 2013 2015 删除 node gyp 文件夹 将 python 路径添加到 npmrc
  • 在 Python 中使用 Mechanize 获取和捕获 HTTP 响应

    我正在尝试从 python 中的 Mechanize 获取响应代码 虽然我能够获得 200 状态代码 但其他任何内容都不会返回 404 抛出和异常 30x 被忽略 有没有办法获取原始状态码 Thanks 错误会抛出异常 因此只需使用 try
  • 数据类型 date 的日期函数 dateadd 不支持日期部分小时

    当我在 jasper 报告中运行以下查询时 出现异常 net sf jasperreports engine JRException 执行 SQL 语句时出错 Activity Summary Activity Summery Report
  • Ruby on Rails - 数组哈希、多列分组和求和

    我对这个主题有类似的问题Ruby on Rails 数组哈希 按列名分组和求和 https stackoverflow com questions 8500280 ruby on rails hash of arrays group by
  • 具有自动调整单元格大小的 UICollectionView 错误地定位了补充视图

    我正在使用带有流布局的 UICollectionView 并尝试让 collectionView 根据 AutoLayout 约束适当调整单元格的大小 虽然单元格按预期工作 但我添加到 CollectionView 的任何补充视图的布局都遇
  • alpine linux 上的程序段错误。我该如何解决?

    我一直在用 C C 开发 webrtc 数据通道库写了一个程序 https github com hamon in librtcdcpp blob alpine test examples websocket client 2in1 c在
  • Java 7 中是否会包含结构和值类型(如 C# 的)?

    Java 7 中是否会包含结构和值类型 如 C 的 这是 John Rose Oracle JVM 开发人员 关于此提案的博客文章 它已经存在了一段时间 但还没有作为官方 JSR 即使在 java 9 中 这似乎也不太可能发生 http b
  • R 中两个列表的元素组合

    假设我有两个列表 list a lt as list c a b c list b lt as list c d e f 我想递归地组合这些列表 这样结果将是作为向量的组合元素列表 如下所示 1 1 a d 2 1 a e 3 1 a f
  • 从字典中查找单词字谜的最佳算法[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我遇到了这样的问题 我有一个列表 它是包含数百万个单词的字典 我输入一个像 OSPT 这样的单词 只有 2 个单词可以组成 STOP 和
  • 从一个表中选择并插入到另一个表中

    我有两张桌子 Table A nid vid 类型 标题 uid Table B id 问题文本 我需要将 Table B 中的记录插入到 Table A 中 我试过这个 INSERT INTO Table A nid vid type t
  • 如何找到原名称已知的重命名文件的新路径?

    考虑以下用例 我正在本地分支上工作 同时在主分支上完成了重构 现在 一些文件 类 已被重命名和 或移动到新位置 合并时 由于缺少类 我收到很多很多导入错误 A B C D E master F G H I J topic In A有我用过的
  • 带箭头键(下一个和后退)的键盘导航用于更改文件名

    我有一堆具有不同文件名的 html 文件 我需要添加一个选项以使用键盘箭头键进行导航 上一个和下一个文件 文件名不是动态的 例如 filename html anotherfile html thirdone html ETC 所以我需要
  • 通过索引检索 JSON 对象的属性?

    假设这个 JSON 对象 var obj set1 1 2 3 set2 4 5 6 7 8 set3 9 10 11 12 set2 属性可以像这样检索 obj set2 有没有办法通过索引检索 set2 属性 它是 JSON 对象的第二
  • 将日期时间转换为毫秒 - C++ - 跨平台

    我想将 20160907 05 00 54 123 格式的字符串转换为毫秒 我知道strptime在 Windows 中不可用 我想在 Windows 和 Linux 中运行我的程序 我也无法使用第三方库 我可以标记字符串并转换它 但是有没
  • 动态规划-硬币变化决策

    我正在复习算法课程中的一些旧笔记 动态规划问题对我来说似乎有点棘手 我遇到一个问题 我们有无限供应的硬币 其中一些面额为 x1 x2 xn 并且我们想要对某个值 X 进行找零 我们正在尝试设计一个动态程序来决定 X 的找零是否可以是否制造
  • Vimdiff 失败并显示“无法读取或写入临时文件”

    我在 Windows 7 上使用 Vim 7 4 我确实有一个自定义 vimrc 文件 但 Vim 和 gVim 都工作正常 当我尝试跑步时vimdiff xxxxx yyyyy 它给出了错误 无法读取或写入临时文件 此问题可能是由 Win
  • PartCover 4.0 仅报告 NUnit 库

    我正在使用 PartCover 4 0 来自Sourceforge 页面 http sourceforge net projects partcover files 最新开发版本 在 Windows 7 x64 上使用 NUnit 2 5
  • javascript滚动到div类的底部

    您好 我正在尝试在 django 中实现一个简单的聊天框 并且想知道如何使用 javascript 滚动到 div 类的底部 基本上 当页面加载时 我希望用户可以看到发送给他们的最新消息而不是最近的消息 我最近不得不做类似的事情 我发现了一
  • 如何在Linux中限制用户命令[关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我在一个组中有一个用户 demo 我想设置该用户只能运行 10 个命令的策略 例如vim nano cd etc 或者 将策略设置为有权访
  • 将数据从 Google App Engine 导出到 csv

    This 旧答案 https stackoverflow com questions 2810394 export import datastore from to google app engine指向一个链接Google 应用引擎文档