程序员经验分享-hwhale

如何将 cassandra 数据从一个集群复制到另一个集群

2023-12-09

我有 2 个 cassandra 集群，位于不同的数据中心（请注意，这是 2 个不同的集群，而不是具有 multidc 的单个集群），并且两个集群具有相同的键空间和列族模型。我希望以最有效的方式将列族C的数据从集群A复制到集群B。我可以通过 get 和 put 操作复制其他一些 ColumnFamily，因为它是一个时间序列并且键是连续的。但我可以复制另一个列族 C。我正在使用 thrift 和 pycassa。我已经尝试过 CQL COPY 命令，但不幸的是 CF 太大，导致 rpc_timeout。我怎样才能做到这一点？


如果您只想一次性执行此操作，请拍摄快照并使用 sstableloader 将其加载到集群中。如果您想随着时间的推移不断加载新数据，您将需要打开增量备份，然后拍摄快照以加载初始数据，然后定期从增量备份中抓取 sstables 到 sstableload 以保持最新。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

copy

cassandra

Thrift

pycassa

columnfamily

如何将 cassandra 数据从一个集群复制到另一个集群 的相关文章

  • 如何使用批处理文件复制（和增量）文件的多个实例

    我需要创建一个批处理文件来复制文件并在将其放置到目的地时递增它 例子 copy C TEMP MyDoc txt E MyData 本质上 我需要这个复制命令在每次启动时进行复制 现在效果很好 我希望它增加文件名而不是覆盖它 如果我运行此命

  • 使用远程管理凭据将文件复制到远程计算机

    我正在使用 C 我需要能够将一组文件复制到大约 500 台不同的计算机上 我已成功地使用 LogonUser 方法来模拟具有复制文件所需权限的域帐户 文件的目标路径类似于 远程计算机 C SomeFolder 我的问题是 有没有办法做到这一

  • 卡桑德拉主键。整数与 varchar 的性能影响

    在Cassandra中 如果主键是varchar而不是int或bigint 是否会有性能损失 我有 id 作为主键 我不会对此做任何数学运算 我使用 id 只是为了插入 检索比较 我想将其更改为字符串以满足我的要求之一 性能会下降吗 不会有

  • 复制可迭代对象的 Pythonic 方式

    对于我正在进行的一个小项目 我需要循环浏览一个列表 对于此循环的每个元素 我必须通过同一列表启动另一个循环 前一个元素作为新循环的第一个元素 例如 我希望能够制作出这样的东西 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4

  • Cassandra - 选择而不复制

    假设我创建了一个键空间和表 CREATE KEYSPACE IF NOT EXISTS keyspace rep 0 WITH replication class SimpleStrategy replication factor 0 CR

  • 如何从 NSTableView 复制行

    我有一个 NSTableView 它只显示一行数字 我只想使用 cmd copy 或右键单击复制来复制这些数字 如何在 NSTableViews 中实现此功能 这就是我让它工作的方式 并且它的行为与响应者链的预期一致 仅当 NSTableV

  • Apache Thrift Java-Javascript 通信

    我正在编写一个基于 Apache Thrift 的 Java 服务器 它将从 Javascript 客户端接收数据 我已经完成了 Java 服务器 但问题是我可以获得 Javascript 客户端的工作示例 我无法找到一个好的示例 构建文档

  • Hector 和 Cassandra 问题 NoSuchFieldError：DEFAULT_MEMTABLE_THROUGHPUT_IN_MB

    我正在通过 Hector 测试与 Cassandra 数据库的连接 但是当我运行 Junit 测试时 我不断收到以下消息 java lang NoSuchFieldError DEFAULT MEMTABLE THROUGHPUT IN M

  • Cassandra 数据建模：时间戳作为分区键

    我需要能够返回在指定时间间隔内执行操作的所有用户 Cassandra 中的表定义如下 create table t timestamp from timestamp to user text PRIMARY KEY from to user

  • 向 cassandra 表添加列会立即完成吗？

    我们计划在现有的 cassandra 表中添加一列 list 类型的列 该表的数据文件大小约为 350 GB 在应用架构更改时 我们可以暂时停止所有读 写几分钟 我们的理解是 cassandra 在应用架构更改时不会锁定表 但要确保我们的

  • 将 Hbase 与 PHP 集成 [关闭]

    Closed 这个问题需要多问focused help closed questions 目前不接受答案 我已经安装了 Hbase 现在我正在寻找一些 PHP 库来将 hbase 与 PHP 集成 我尝试了 2 个库 第一个是我尝试与 th

  • Elasticsearch 与 Cassandra 对比 Elasticsearch 与 Cassandra

    我正在学习 NoSQL 并正在寻找满足客户要求之一的不同选项 在提出这个问题之前我已经查阅了各种资源 一个对NoSQL知之甚少的人 我需要以更快的速度存储数据并读取数据 完全故障安全且易于扩展 能够搜索数据进行分析 我最终得到了一个简短的清

  • 使用 Visual Studio 复制文件？

    我想创建一个 Visual Studio 我正在使用 VSTS 2008 项目 它只执行文件复制工作 更详细地说 我将向该项目添加一些文件 并将该项目复制文件 包含在该项目中 到某个目标位置我构建该项目 有什么想法如何在 VSTS 中做到这

  • 不使用 CPU 时 Cassandra 超时

    我使用 Phantom DSL 和 Datastax Cassandra 驱动程序时遇到 Cassandra 超时 然而 Cassandra 似乎并没有超载 以下是我得到的异常 com datastax driver core except

  • 如何过滤 Cassandra 中的数据？

    我在应用程序中使用 mySQL 一段时间了 收集的数据越多 速度就越慢 所以我一直在研究 NOSQL 选项 我在 mySQL 中拥有的东西之一是从一堆连接创建的视图 该应用程序在网格中显示所有重要信息 用户可以在此数据集上选择范围 进行搜索

  • Cassandra cqlsh“无法连接到任何服务器”

    在命令行上执行 cqlsh bat 时收到以下消息 Connection error Unable to connect to any servers 127 0 0 1 ProtocolError cql version 3 3 0 is

  • Apache Cassandra 中的复合索引

    我正在尝试设置一个 cassandra 列族 其中一些列上有二级索引 在读回数据时我需要进行过滤 在我最初的测试中 当我一起使用多个索引时 速度会变慢 这是我当前的配置方式 通过 cassandra cli update column fa

  • 如何使用 cqlsh 将 Cassandra 连接到本地主机？

    我将 rpc port 设置为公共 IP 地址 现在我可以从外部服务器正常连接到 Cassandra 但是 我无法使用 cqlsh 从 Cassandra 服务器本身进行连接 我收到一个错误 即 Connection error Could

  • 在 Java 中连接和使用 Cassandra

    我已经阅读了一些关于 Cassandra 是什么以及它可以做什么的教程 但我的问题是如何在 Java 中与 Cassandra 交互 教程会很好 如果可能的话 有人可以告诉我是否应该使用 Thrift 还是 Hector 哪一个更好以及为什

  • 使用 Ant 复制子文件夹的内容

    如何使用 Ant 复制给定文件夹的所有子文件夹的内容 即我有这样的文件夹结构 folder folder sub1 1 txt folder sub1 f1 1 txt folder sub2 2 txt 我不知道子文件夹的确切名称 我需要

随机推荐

  • 在 Watch InterfaceController.swift 中获取 MMWormhole 的未解析标识符

    我的 Apple Watch 项目是用 Swift 编写的 我已经使用CocoaPods来安装MMWormhole 我创建了桥接标头 如以下链接中所述 http bencoding com 2015 04 15 adding a swift

  • 如何在字段级别忽略未知字段？

    我在请求中使用另一个模块中的类 public class KeyInput NotNull private Long id NotNull private String startValue NotNull private String e

  • 继承基类的构造函数

    对于以下代码 struct Base protected Base Base int struct Derive public Base public using Base Base int main Derive d1 Derive d2

  • 为什么mapreduce作业中需要setMapOutputKeyClass方法

    当我编写mapreduce程序时 我经常写这样的代码 job1 setMapOutputKeyClass Text class 但为什么我们要显式指定 MapOutputKeyClass 呢 我们已经在映射器类中指定了它 例如 public

  • C++ 中的前向声明是什么？ [复制]

    这个问题在这里已经有答案了 这个答案 says 最后 typedef struct Foo 声明一个匿名结构并为其创建一个 typedef 因此 对于此构造 它在标记命名空间中没有名称 只有 typedef 命名空间中的名称 这意味着它也不

  • AWS EMR 并行映射器？

    我正在尝试确定我的 EMR 集群需要多少个节点 作为最佳实践的一部分 建议是 您的工作所需的映射器总数 处理时间 每个实例容量 所需时间 如下所述 http www slideshare net AmazonWebServices amaz

  • 如何使用 asternet 从星号获取变量值

    我用asterNet用于管理事件 INasterisk 我需要获取变量的值 result 在 c 中来自dialplan query exten gt test 1 NoOp test same gt n Answer same gt n

  • 列出来，不丢失参考

    面试回来 我与您分享 欢迎一个好的 准确的答案 目的是 你有一个静态方法 这个方法接收一个IList

  • c 将 char* 拆分为 char**

    我正在从文件中读取一行 逐个字符 使用 fgetc 其中所有字段 名字 姓氏 均由 我现在想做的是创建一个char 将所有字符添加到其中并替换 by 0这样我就可以有效地获得所有字段的列表 这实际上有可能吗 当我创建一个 char 时 例如

  • 如何重置反应组件，包括所有可传递可达的状态？

    我偶尔会有一些概念上有状态的反应组件 我想重置它们 理想的行为相当于删除旧组件并读取新的原始组件 React提供了一个方法setState它允许设置组件自己的显式状态 但排除隐式状态 例如浏览器焦点和表单状态 并且还排除其子级的状态 捕获所

  • 更改工作文件夹位置

    我想更改工作文件夹的位置 如何在我的 SVN 存储库中进行更改 我正在使用 TortoiseSVN 客户端 如果您想移动整个工作副本 只需将其移动到文件系统中即可 如果您想移动工作副本中的文件夹并稍后提交移动 请右键单击该文件夹 然后选择

  • 小牛队上的 PyQt4 和 python 3

    我在 Xubuntu 中制作了一个 python 应用程序 目前正在尝试在 Mavericks 上运行 该项目的 GUI 部分使用 PyQt4 我目前正在尝试在 Mavericks 上安装 PyQt4 并在运行时出现以下错误brew ins

  • .NET 嵌套类

    我正在开发的当前类库将有一个基类 Field 其中包含超过 50 个特定的 字段 类型 这些类型将从 Field 继承并嵌套以保持可读性 例如 abstract class Field public int Length get set p

  • 如何解析来自github的csv？

    jQuery ajax url https raw githubusercontent com CSSEGISandData COVID 19 master csse covid 19 data csse covid 19 time ser

  • knitr：将计算机输出包装在 HTML 标签中

    使用knitr 我试图将输出包装在特定类的div 中 例如 代码如下 r Print the pressure data set head pressure 我希望将输出 而不是代码 包装在 div 中 例如 div class mycla

  • 带有连接列的 Flask SQLAlchemy 查询

    我有一个这样的模型 class User db Model id db Column db Integer primary key True first name db Column db String 64 index True last

  • Excel 宏加载数组

    我不知道如何表达这个问题 但我遇到了一个问题 我需要将一组工作表中的名称列表加载到单独的数组中 例如 Sheet 1 Column A有10个名字要加载到array1 Sheet 2 Column A有14个名字要加载到array2 我知道

  • 一个 Pod 中存在多个容器

    我正在从 openshift 2 迁移一个应用程序 该应用程序由 Java jetty 网络服务器和 mongo 数据库组成 Web服务器和mongo都需要访问持久存储 以及访问数据库的服务器 由于我可用的卷无法 我相信 由两个 pod 访

  • 使用 opam 安装适用于 Z3 的 ocaml API

    我想在我的 OCaml 程序中使用 Z3 使用opam 我做到了 opam install z3 eval opam env 然后尝试编译 ocamlfind ocamlopt o main package z3 linkpkg main

  • 如何将 cassandra 数据从一个集群复制到另一个集群

    我有 2 个 cassandra 集群 位于不同的数据中心 请注意 这是 2 个不同的集群 而不是具有 multidc 的单个集群 并且两个集群具有相同的键空间和列族模型 我希望以最有效的方式将列族C的数据从集群A复制到集群B 我可以通过

热门标签