如何将 Cassandra 的本地节点复制到其他 Cassandra 的远程节点?

2023-12-04

我需要使用 SimpleStrategy 将本地节点复制到其他 Cassandra 数据库中的远程节点。有人知道我从哪里开始吗?


如果您要将数据写入两个集群,那么这里的主要复杂性是如何避免覆盖在本地设置之后在云中更改的数据。有几种可能性可以做到这一点:

  • 如果表的结构相同(如果使用用户定义的类型,则包括键空间的名称),那么您只需将 SSTables 从本地计算机复制到云端,然后使用稳定加载器重播它们 - 在这种情况下,Cassandra 将遵循实际写入时间,并且不会覆盖更改的数据。另外,如果您要从表中进行删除,则需要在逻辑删除过期之前复制 SSTable。您不能每次都复制所有 SSTable,只能复制自上次数据上传以来发生更改的文件。但您始终需要从要上传的所有节点复制 SSTable。

  • 如果结构不同,那么您可以考虑使用DSBulk or Spark Cassandra 连接器。在这两种情况下,您还需要使用写入时间导出数据,然后使用时间戳加载它。请注意,在这两种情况下,如果不同的列有不同的写入时间,那么您将需要单独加载该数据,因为 Cassandra 允许在更新/插入数据时仅指定一个时间戳。

对于 DSBulk,您可以按照示例 19.4 导出数据这篇博文,以及用于加载的示例 11.3(来自另一篇博文)。所以这可能需要一些 shell 脚本。另外,您需要有磁盘空间来保存导出的数据(但您可以使用压缩)。

对于 Spark Cassandra 连接器,如果两个节点均可从 Spark 访问,则无需中间存储即可导出数据。但是您需要编写一些 Spark 代码来使用以下命令读取数据RDD or 数据框 APIs.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何将 Cassandra 的本地节点复制到其他 Cassandra 的远程节点? 的相关文章

  • TaskSchedulerImpl:初始作业尚未接受任何资源;

    这就是我正在尝试做的事情 我创建了DataStax企业集群的两个节点 在其上创建了一个java程序来获取一张表 Cassandra数据库表 的计数 该程序是在 eclipse 中构建的 实际上是来自 windows 盒子 从 Windows
  • 将 CassandraUnit 与 Astyanax 结合使用时出现依赖性问题

    我有一个 SessionDaoCassandraImpl 类 它使用 Astyanax 从 Cassandra 读取数据 我想使用嵌入式 Cassandra 服务器进行测试 卡桑德拉单元 https github com jsevellec
  • Cassandra cqlsh 不适用于非分区键的 where 子句

    我的表描述是 CREATE TABLE user id text CustID int static UpdateDate date DateOfBirth date static Gender text static Address te
  • 如何使用 javascript 从 UUID v1 (TimeUUID) 中提取时间戳?

    我使用 Cassandra DB 和 Nodejs 的 Helenus 模块来操作它 我有一些包含 TimeUUID 列的行 如何在javascript中从TimeUUID获取时间戳 这个库 UUID 至今 https github com
  • ScyllaDB 是否支持 OR 运算符?

    scyladb 中 SELECT 语句的 WHERE 子句中的 OR 条件如何工作 我已经在电子邮件上创建了二级索引 下面的查询工作正常并返回结果 cqlsh gt select from test d emp where email em
  • 非二级索引查询尚不支持非主键列(事件类型)上的 Cassandra 谓词

    我开发了一个如下所示的表 其中主键为id 它是一个uuid类型 id date eventtype log password priority sessionid sourceip user useragent
  • 无法使用 datastax java 驱动程序通过 UDT 密钥从 cassandra 检索

    我正在尝试使用用户定义的类型作为分区键将对象存储在 cassandra 中 我正在使用 datastax java 驱动程序进行对象映射 虽然我能够插入到数据库中 但无法检索该对象 如果我更改分区键以使用非 udt 例如文本 我就能够保存和
  • 卡桑德拉身份验证问题

    卡桑德拉版本 apache cassandra 2 1 8 我最近配置了 2 节点集群Authenticator设置PasswordAuthenticator 当其中一个节点关闭时 我无法登录 Cqlsh 并出现以下错误 Connectio
  • Cassandra cqlsh - 如何显示时间戳列的微秒/毫秒?

    我正在插入带有时间戳列的 Cassandra 表 我的数据具有微秒精度 因此时间数据字符串如下所示 2015 02 16T18 00 03 234 00 00 但是 在 cqlsh 中 当我运行选择查询时 微秒数据不会显示 我只能看到精确到
  • 为什么 Cassandra 客户端在生产中没有 epoll 时会失败? [复制]

    这个问题在这里已经有答案了 当我在本地运行服务时 我收到一条警告 指出 epoll 不可用 因此它使用 NIO 很公平 当我将其部署到 Kubernetes 中时 我得到了以下信息 这导致服务无法运行 2017 03 29T19 09 22
  • Cassandra 允许过滤

    我有一个如下表 CREATE TABLE test day int id varchar start int action varchar PRIMARY KEY day start id 我想运行这个查询 Select from test
  • Datastax Cassandra Windows 服务

    这可能真的很简单 但真的很烦人 当使用Cassandra BAT文件时 我们可以通过该bat文件中的JAVA OPTS参数设置最小 最大堆大小 我们可以在哪里为 Windows 服务执行此操作 我认为它使用 prunsrv 使用相同的 ba
  • Spark JSON 文本字段到 RDD

    我有一个 cassandra 表 其中有一个名为 snapshot 的文本类型字段 其中包含 JSON 对象 identifier timestamp snapshot 我了解到 为了能够使用 Spark 对该字段进行转换 我需要将该 RD
  • Cassandra 会话与集群 有什么可分享的?

    考虑 Cassandra 的 Session 和 Cluster 类 Java 驱动程序 我想知道有什么区别 在 Hibernate 中 每次都会创建一个会话并共享会话工厂 从许多来源我了解到 它被认为是创建一个会话并在多个线程之间共享它
  • 根据统计数据获取cassandra中的数据点

    我正在测试 Cassandra 2 0 作为存储时间序列数据的可能替代品 我制作了一个简单的表并将一些数据转储到其中 CREATE TABLE DataRaw channelId int sampleTime timestamp value
  • Cassandra 查询失败(墓碑)

    所以这让我发疯 我尝试查询 Cassandra 中的一张表 结果显示查询失败 我尝试深入探究其背后的原因 发现这是因为墓碑 我将 GC GRACE SECONDS 更改为零并使用 nodetool 触发了压缩 当我再次查询时它工作正常 然而
  • Cassandra:在 session.execute() 期间“无法完成对任何主机的操作”

    卡桑德拉版本 1 2 2Thrift API 版本 19 35 0CQL支持的版本 2 0 0 3 0 1 默认 3 0 1 适用于 python 3 4 的 cassandra 驱动程序使用 sudo 运行 cassandra bin c
  • Cassandra公共IP未连接

    我在 ubuntu 服务器中使用 cassandra 当我尝试使用 CLI 与公共 IP 地址进行连接时 它返回连接被拒绝 而如果我尝试使用 localhost 它工作正常 我在 cassandra yaml 和 storage conf
  • Apache Cassandra 中的复合索引

    我正在尝试设置一个 cassandra 列族 其中一些列上有二级索引 在读回数据时我需要进行过滤 在我最初的测试中 当我一起使用多个索引时 速度会变慢 这是我当前的配置方式 通过 cassandra cli update column fa
  • 在 Cassandra 术语中,TimeUUID 是什么?

    在 Cassandra 术语中 什么是TimeUUID什么时候使用它 TimeUUID 是一个随机的全局唯一标识符 16 字节 十六进制表示示例 a4a70900 24e1 11df 8924 001ff3591711 See http e

随机推荐

  • 如何动态添加多个句柄到 jQuery 滑块

    我想做这个 在某些事件上向 jQuery 滑块添加句柄 该句柄应该有一个 id 以便当它滑动时 我可以访问它的值 有什么想法如何做到这一点 Here是 JSfiddle 中的代码 其中实现了带有两个手柄的滑块 我需要做的就是通过触发某些事件
  • 在堆上创建结构体?

    我被指示通过在保存源副本的堆上创建一个 String 结构来编写模型 strdup 我想我已经成功编码了 strdup 但我不确定我是否已经创建堆上的结构体 typedef struct String int length int capa
  • 带有子网格和本地数据的 JqGrid 在 IE9 中不起作用 - 抛出 - “SCRIPT600:此操作的目标元素无效”

    我是 JQGRID 的新手 我使用的是 4 7 1 版本 我正在尝试使用 SUBGRID 创建 JQGRID 该代码在 Google Chrome 中按预期工作 但我在 IE9 中收到下面提到的错误 SCRIPT600 Invalid ta
  • 将 .RData 文件加载到会话中,但在 Shiny 中未加载任何对象

    我在 R 中得到了分析结果 一个名为obj 并将其保存为 RData 文件obj result RData 现在在闪亮 在年初ui R文件 我把load obj results RData 这样每次运行 Shiny 时 这个对象都可以加载到
  • 手动滚动两个显示相同内容的 UICollectionView

    正如标题所示 我有一个UIViewController有两个UICollectionViews它们以水平方式显示相同的内容 主图一次显示一张照片 大拇指图一次显示多张照片 我已经覆盖了UIScrollViewDelegate方法并添加了一些
  • 当 CrawlerProcess 运行两次时,Scrapy 会引发 ReactorNotRestartable

    我有一些代码看起来像这样 def run spider name settings runner CrawlerProcess settings runner crawl spider name runner start return Tr
  • 串行化套接字

    我尝试序列化套接字 但它不起作用 正确的方法是什么 public class MySocket implements Serializable private Socket socket public MySocket Socket soc
  • 使用 dir 搜索文件 - 多次命中

    我有一个宏 它遍历文件夹并使用 dir 函数来查找活动文件夹中是否存在文件 并将文件名放入单元格中 问题是可能有两个或多个文件满足搜索 Dir subfolder Kommunesvar 如果有两个以 Kommunesvar 开头的文件 如
  • 为什么我的 li 元素之间有空格? [复制]

    这个问题在这里已经有答案了 我有一个水平显示的项目列表 我想在每个里周围创建一个边框 并使它们彼此相邻地突出 我创建了一个小测试来说明问题 在这里看到 ul class dashboard inline links li a href Oc
  • 复杂的数据库操作

    我为我的 ASP NET 应用程序绘制了一个非常简单的数据库设计 在一些帮助下 我成功地实现了我的设计 但我想将数据插入到该表中并从中检索 我的应用程序中一个非常重要的功能将需要某个记录的所有 7 个表中的所有信息 有时我需要让我的应用程序
  • HttpClient GetAsync 未按预期工作

    当使用 Postman 测试我的 Web API 时 我的 API 执行得很好 当涉及到运行代码时HttpClient在我的客户端应用程序中 代码执行时没有错误 但在服务器上没有预期的结果 可能会发生什么 从我的客户端应用程序 privat
  • 传递 SqlConnection

    我创建了一个 TransactionScope 并在该范围内在数据库中创建和更新了各种项目 在此过程中 我对数据库进行了大量调用 最初 我在 TransactionScope 的开头打开了一个 SqlConnection 并将其传递给任何进
  • SwiftUI hidesBottomBarWhenPushed 等效吗?

    我试图隐藏我的TabView当我在我的视图中推送一个新视图时NavigationView但目前看来没有办法做到这一点 我在互联网上看到了很多东西 但似乎没有什么适合我 默认情况下 我的代码如下所示 struct ContentView Vi
  • C# 中的哈希密码和盐密码

    我刚刚浏览了 DavidHayden 的一篇文章对用户密码进行哈希处理 真的 我无法得到他想要达到的目标 这是他的代码 private static string CreateSalt int size Generate a cryptog
  • 使用 maltpoltlib 对带有轮廓的 pcolormesh 进行动画处理

    我正在做一些事情 我需要可视化时间和表面上的进展 比如说热量 我在使用轮廓对 pcolormesh 进行动画处理时遇到一些麻烦 轮廓确实是动画的 但 pcolormesh 不是 我只得到第一个从未被替换的 我的代码很像这样 x y and
  • 使用 Javascript 从 Web 应用程序访问设备指南针

    是否可以通过网络应用程序在 iPhone Android 设备上使用 Javascript 访问指南针 已经在网上找了好几个小时了 我知道你可以通过以下方式访问加速度计 window ondevicemotion 函数 事件 有谁知道是否可
  • 在VS2019中连接Entity Framework与MYSQL

    我刚刚安装了 Visual Studio 2019 并尝试添加具有 ADO NET 实体模型的数据库 但向导在此步骤中崩溃了 选择实体框架版本 我有 Visual Studio Community 2019 v16 4 5安装 MySQL
  • 列表项项目符号重叠

    我有一个无序列表 我希望将其列表项显示为两行多列 问题在于每个列表项的项目符号与前一个列表项重叠 我该如何阻止这种情况发生 我已经找到了一个调整边距的混乱解决方案 但想知道是否有一个优雅的解决方案 我想保留子弹 我不希望列表项中的文本环绕项
  • 使用 cURL 编辑 GIST

    bin bash COMMIT git log 1 pretty format subject s name xxx date cD curl X PATCH d files latest commit content COMMIT u u
  • 如何将 Cassandra 的本地节点复制到其他 Cassandra 的远程节点?

    我需要使用 SimpleStrategy 将本地节点复制到其他 Cassandra 数据库中的远程节点 有人知道我从哪里开始吗 如果您要将数据写入两个集群 那么这里的主要复杂性是如何避免覆盖在本地设置之后在云中更改的数据 有几种可能性可以做