程序员经验分享-hwhale

导出 JSON 数据并加载到关系数据库中

2024-01-02

是否有将 JSON 数据转换为具有多个表的关系数据库的标准方法？我们需要从 MongoDB 实例导出数据并将其导入 Redshift 集群。唯一的问题是一些 MongoDB 字段包含对象和数组。 Redshift 集群接受 CSV，因此我认为每个新表的输出至少是一个 CSV 文件。

我不需要具体的实现。我只是想了解如何有效地将 JSON/NoSQL 数据转换为关系格式的概念。


我们有存储 JSON 数据的 mongo DB。我们希望将数据迁移到 Redshift 以用于某些查询目的。

我们使用 mongoexport csv 从 mongo 表创建 csv 并将其上传到 S3。我们在 Redshift 中创建了相应的关系模式，并使用复制命令将这些 csv 数据从 s3 加载到 redshift。

我们可以使用java api来查询mongo并创建csv并将其上传到s3。同样可以加载到redshift。

真正的问题是，由于我们使用 mongo (json) 或 NoSQL，对于属于同一个表（如 JSON）的给定对象，我们可能有不同的列数，但在 Redshift 中，每个表的列数是固定的，因此在这种情况下，您需要创建所有可能的列并加载数据。对于那些不具有所有列的对象，我们可以为它们填充空值。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

json

MongoDB

amazonredshift

导出 JSON 数据并加载到关系数据库中 的相关文章

  • 使用多线程加载大型 JSON 文件/

    我正在尝试加载一个 3 GB 的大 JSON 文件 目前 使用 JQ 实用程序 我可以在近 40 分钟内加载整个文件 现在 我想知道如何在 JQ 中使用并行 多线程方法 以便在更短的时间内完成该过程 我用的是v1 5 使用的命令 JQ ex

  • 如何使用 getJSONArray 方法访问 json 对象的嵌套元素

    我有一个 JSON 响应 如下所示 result map entry key xsi type xs string ContentA value fsdf key xsi type xs string ContentB value dfdf

  • Scala 中值类的隐式 Json 格式化程序

    我有许多值类组成了一个更大的对象案例类 final case class TopLevel foo Foo bar Bar final case class Foo foo String extends AnyVal final case

  • 如何在 Swift 4 中传递 Encodable 或 Decodable 作为参数？

    我正在学习 JSONParsing 我遵循了教程 得到的是这样的 guard let url URL string http localhost test api public api register else return var re

  • MongoDB 复合键：InvalidOperationException：{document}.Identity 不受支持

    我在水合由复合 ID 组成的类时遇到问题 该复合 ID 又具有基类 我收到一条错误消息InvalidOperationException document Identity is not supported 我试图写入数据库的类如下 pub

  • 在 T-SQL 中解析 JSON 数组

    在我们的 SQL Server 表中 我们有一个存储有字符串数组的 json 对象 我想以编程方式将该字符串拆分为几列 但是 我似乎无法让它发挥作用 或者即使有可能 是否可以在WITH子句中创建多个列 或者在select语句中创建多个列是更

  • Rails 渲染 JSON - 会话丢失？

    我正在尝试对控制器进行一些 Ajax 调用 该控制器以 JSON 进行响应 if session user render json gt Some Data else render json gt You are not logged in

  • WebSocket如何压缩消息？

    JSON stringify 显然空间利用率不高 例如 123456789 123456789 占用 20 多个字节 而它可能只需要大约 5 个字节 websocket 在发送到流之前是否会压缩其 JSON WebSocket 的核心只是一

  • 使用 javascript 将多行、缩进的 json 转换为单行

    我想出了以下函数 用于将多行 缩进的 json 转换为单行 function text var outerRX s n r g innerRX s n r return text replace outerRX function 0 1 r

  • 转换 JSON-JSON JOLT

    我对 JOLT 还很陌生 我需要将 JSON 文件转换为所需的架构 这是我的输入 PK 12345 FULL NAME Amit Prakash BIRTHDATE 1987 05 25 SEX M EMAIL email protecte

  • Mongodb更新很多

    我正在使用express js 和 npm 模块 mongodb 进行开发 并以 mongodb 作为数据库 我有两个集合 即 用户 和 活动 一个用户可能有数千个活动 首先 我将用户的 id 姓名和图片 url 存储到 关系的活动文件 请

  • 为什么 JSON.stringify 对于似乎具有属性的对象返回空对象符号“{}”？

    下面的例子表明JSON stringify 返回字符串 对于 SpeechSynthesisVoice 对象 var voiceObject window speechSynthesis getVoices 0 JSON stringify

  • Ajax JSON 数据和灯箱冲突

    我有一个带有灯箱插件的画廊设置光廊 http sachinchoolur github io lightGallery docs 该画廊与静态 HTML 完美配合 当我动态抓取 API 数据并尝试让灯箱处理这些项目时 问题就出现了 我似乎无

  • MongoDB自增ID

    MongodB 中自动生成的 ID 的大小为12 Bytes大整数的大小是8 bytes 我在 4 台运行 Ubuntu Server 的机器上有一个 mongodb 集群 但我现在只是在测试 插入只能通过一台服务器 即 Nodejs 服务

  • 从 appsettings.json 读取 JSON 对象

    TL DR 如何从 appsettings json 读取复杂的 JSON 对象 我有一个具有多种类型的配置值的 NET Core 2 x 应用程序 appsettings json看起来像下面的代码片段 我正在尝试读取的值ElasticS

  • Spring-roo REST JSON 控制器损坏日期字段

    我有一个以两种方式使用的数据实体 我在页面加载时用其中的一些数据填充表格 当您单击该列的一行时 我通过 AJAX 获取该项目的详细信息并将其显示在表单字段中 我在服务器端使用 Spring Roo 生成的 REST 端点 在客户端使用 Ba

  • 使用本地存储在从另一个表保存的 HTML TABLE 中打印 JSON，以便我在另一个页面上打印我的表

    在我的作业中 我必须使用用户输入中的数据并将数据保存在本地存储中 我必须以水平表格式将这些数据从本地存储打印到其他页面 为此 我编写了用于用户输入并将数据保存在本地存储中的代码 div p p div

  • Mongoose 独特的验证不起作用。保存重复条目

    我正在开发一个 NodeJS 应用程序 其中express是框架 MongoDB是数据库 我正在使用猫鼬插件 我有一个父母模型 我已经添加了独特 真实到场 mobile 但是每当我添加相同的手机号码时 唯一性验证就会失败 除了保存重复的文档

  • 在 MySQL 中使用 COUNT 时如何返回 0 而不是 null

    我使用此查询返回存储在 sTable 中的歌曲列表以及存储在 sTable2 中的总项目数 SQL queries Get data to display sQuery SELECT SQL CALC FOUND ROWS str repl

  • php 数组中出现意外的 json 输出结构

    我正在尝试转换动态数据 如何从 PHP 获取此 JSON JSON 122240cb 253c 4046 adcd ae81266709a6 item 0 3 这就是我所做的 但它不起作用 PHP json array 122240cb 2

随机推荐

  • angular2 rc4“XHR错误（404未找到）加载/traceur

    我将 angular2 从 RC2 迁移到 RC4 现在收到以下错误 localhost 36 Error Error XHR error 404 Not Found loading http localhost 3000 traceur

  • 隐藏 SEO 黑名单 [已关闭]

    Closed 这个问题是无关 help closed questions 目前不接受答案 我正在使用回发对大量数据执行分页 由于我没有可供谷歌阅读的站点地图 因此谷歌永远不会知道某些产品 因为谷歌不会按任何按钮 如果用户代理是搜索引擎的用户

  • excepts.TypeError: src 不是 numpy 数组，也不是标量

    import cv2 import numpy as np def imageMoments img Single channel 8 bit or floating point 2D array read original cv2 imr

  • 调度操作以响应取消

    我从取消食谱 https redux observable js org docs recipes Cancellation html来自 redux observable 文档并希望对其进行一些扩展 基本上我有一个场景 在触发取消后 使用

  • 从unix文件中获取日期

    我想从 txt 文件中获取日期 如下所示 933 Mahinda Perera male 1989 12 03 2010 03 17T13 32 10 447 0000 192 248 2 123 Firefox 1129 Carmen L

  • 迭代计算不同长度

    我有一个 n 2 df 第一列是起始月份 第二列是每月回报 下面的示例 使用动物园包 日期以年月形式显示 我想计算从每个起始月份回报开始的 1 到 12 个月的回报 并使用它们创建一个 n 13 数据框 复合回报构成最后 12 列 第 2

  • 如何在 adb shell am start 的 URL 中包含 & 符号？

    Using adb shell am start some url 我可以使用活动管理器启动 URL 但是 如果我包含多个 URL 参数 则除第一个参数之外的所有参数都会被删除 Example adb shell am start http

  • 使用 Express 4.0 上传文件：req.files 未定义

    我试图获得一个与 Express 4 0 一起使用的简单文件上传机制 但我不断得到undefined for req files in the app post身体 这是相关代码 var bodyParser require body pa

  • Swift Xcode 索引冻结或缓慢

    也许这只是我经历的一个恼人的 功能 从 Xcode 6 0 1 升级到 Xcode 6 1 后 情况发生了变化 Xcode 6 1 永远索引项目或编译源文件 该工程规模并不大 它只包含工作区中的一堆 Swift 文件和 AWS SDK 2

  • 用美元符号替换 javascript regexp 匹配组

    这个应该很简单 让我们看一下字符串 str 1 99 or 4 89 我想在金额前面添加一个美元符号 我试过 str replace d d d g 1 它给了我 1 或 1 所以我坚持做 str replace d d d g 1 rep

  • spring中没有默认构造函数的类的bean类实例化

    我在模型中使用第三方库类 XYZ 作为参数 XYZ 没有默认构造函数 所以 spring 无法为其创建 bean 给出错误消息 org springframework web util NestedServletException Requ

  • 在满足特定条件之前“阻止”的最佳方法

    我想创建一些以通用方式使用的方法 它会阻塞 除非某个超时到期 直到满足给定条件 代码中的用法类似于 WaitUntil condition 我尝试使用 While 循环来实现它 但这似乎是一种浪费 在当前的实现中 我正在初始化一个 一次性

  • 在 ios swift 中实施 Google Analytics

    我正在遵循 Analytics for iOS developers google com analytics devguides collection ios v3 ver swift 指南 但我的 Swift 代码项目中出现了无法修复的

  • 使用 imap 和 php 检索最近 3 封电子邮件

    我试图弄清楚如何使用 imap 和 php 获取最新的 3 封电子邮件 已看到和未看到 由于邮箱内有 1 000 封电子邮件 因此需要节约资源 我认为获取所有标头可能需要太多资源 我只需要发件人 主题和日期 任何想法 感谢您的任何建议 帮助

  • iPhone 上的日期字符串中的毫秒数应使用什么格式字符串？

    我需要解析包含毫秒的格式的字符串 我应该使用什么格式字符串来获取正确的日期值 例如 假设我有一个具有以下值的字符串 2011 06 23T13 13 00 000 在以下代码中我应将什么格式字符串传递给 NSDateFormatter NS

  • VB.NET 中标识符两边的方括号代表什么？

    一般来说 我对 VB 和 NET 非常熟悉 但我刚刚遇到了这段代码 Me GetType 周围括号的用途是什么GetType 方括号用于告诉编译器应该将其解释为类型 即使它是关键字 但你的例子应该是一样的Me GetType 例如 您可以将

  • 良好的 DRY 方法来渲染和 AJAX 更新页面

    想象一下一个评论网站 用户可以在其中输入评级和可选的简短评论 在每个评论页面上 您都会收到许多评论 这些评论显示在页面末尾的表格中 顺便说一句 不寻找数据网格类型控件 太简单了 我想让用户输入新评论并更新页面而无需刷新页面 到目前为止都是简

  • MEF 和 ASP.NET MVC

    我想将 MEF 与 asp net mvc 一起使用 我写了以下控制器工厂 public class MefControllerFactory DefaultControllerFactory private CompositionCont

  • 如何检测在CustomList中单击了哪个按钮以及在哪个位置

    我正在使用自定义列表视图 其中每个项目都有两个按钮 以下是我的项目 xml

  • 导出 JSON 数据并加载到关系数据库中

    是否有将 JSON 数据转换为具有多个表的关系数据库的标准方法 我们需要从 MongoDB 实例导出数据并将其导入 Redshift 集群 唯一的问题是一些 MongoDB 字段包含对象和数组 Redshift 集群接受 CSV 因此我认为

热门标签