Flink Sql使用mysql-cdc捕获多个表失败的问题

2023-11-08

问题描述:

要捕获同一个库里的多个表的binlog,程序不报错,但是修改某个表后没有结果没有任何改变。

fllinkSql的with语句

WITH ( 'connector' = 'mysql-cdc',
 'hostname' = '%s',
 'port' = '%s',
 'username' = '%s',
 'password' = '%s',
 'database-name' = 'student',
 'debezium.skipped.operations'='d',
 'debezium.min.row.count.to.stream.results'='1000',
 'table-name' = 'tb1,tb2,tb3')
 

原因:

编译成debezium的配置后只在第一个表的前面加了数据库前缀。

解决方法:

WITH ( 'connector' = 'mysql-cdc',
 'hostname' = '%s',
 'port' = '%s',
 'username' = '%s',
 'password' = '%s',
 'database-name' = 'student',
 'debezium.skipped.operations'='d',
 'debezium.min.row.count.to.stream.results'='1000',
 'table-name' = 'student.tb1,student.tb2,student.tb3')//就是这个要全部加数据库前缀

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Flink Sql使用mysql-cdc捕获多个表失败的问题 的相关文章

  • 关于Flink Time中的Watermaker案例的详解

    需求 自定义数据源 产出交易订单数据 设置基于事件时间窗口统计 1 交易订单数据 import lombok AllArgsConstructor import lombok Data import lombok NoArgsConstru
  • Flink高手之路3-Flink的入门案例

    文章目录 Flink高手之路3 Flink的入门案例 一 Flink的API 二 Flink的编程模型 三 Flink的编程步骤 四 Flink的入门案例之一 批处理DataSet的处理 1 创建一个maven项目 2 改pom文件 引入F
  • flink中idea配置pom.xml

  • 微众银行DSS部署单机-普通版

    DSS 普通版部署 我的服务器 我的配置 vim conf config sh vim conf db sh QA 我的服务器 centos 7 0 8C16G 100G机械硬盘 我的配置 bashrc文件内容 JDK export JAV
  • 【Flink】Flink 消费kafka报错 AMRMClientAsyncImpl Interrupted while waiting for queue InterruptedException

    1 背景 一个flink etl程序 读取一个kafka集群的数据 到两外一个集群 然后报错 2020 06 06 15 56 00 PM Thread flink akka actor default dispatcher 20 Clas
  • Flink 多流转换 (五) 间隔联结(Interval Join)

    文章目录 间隔联结的调用 间隔联结实例 顾名思义 间隔联结的思路就是针对一条流的每个数据 开辟出其时间戳前后的一段时间间隔 看这期间是否有来自另一条流的数据匹配 间隔连接通过一个共同的key连接两个流 A B 中的数据 流 B 的数据具有时
  • 206.Flink(一):flink概述,flink集群搭建,flink中执行任务,单节点、yarn运行模式,三种部署模式的具体实现

    一 Flink概述 1 基本描述 Flink官网地址 Apache Flink Stateful Computations over Data Streams Apache Flink Flink是一个框架和分布式处理引擎 用于对无界和有界
  • 深入理解Flink的水位线

    Apache Flink是一个流处理框架 它支持事件时间和处理时间的概念 在处理流数据时 Flink通过水位线 Watermark 来追踪事件时间的进度 从而支持事件时间的操作 水位线是一种特殊的事件 它表示在此时间戳之前的所有事件都已经到
  • Flink State 和 Fault Tolerance详解

    有状态操作或者操作算子在处理DataStream的元素或者事件的时候需要存储计算的中间状态 这就使得状态在整个Flink的精细化计算中有着非常重要的地位 记录数据从某一个过去时间点到当前时间的状态信息 以每分钟 小时 天汇总事件时 状态将保
  • [1143]Flink的Checkpoint和Savepoint

    文章目录 Flink的Checkpoint和Savepoint介绍 第一部分 Flink的Checkpoint 1 Flink Checkpoint原理介绍 2 Checkpoint的简单设置 3 保存多个Checkpoint 4 从Che
  • 【面试真题】今日头条大数据面试100题,收藏备用

    1 简述WordCount 的实现过程 2 简述MapReduce与 Spark 的区别与联系 3 Spark 在客户端与集群运行的区别 4 相同的 SQL 在 HiveSql 与 SparkSQL 的实现中 为什么 Spark 比 Had
  • 【大数据】Flink 详解(三):核心篇 Ⅱ

    本系列包含 大数据 Flink 详解 一 基础篇 大数据 Flink 详解 二 核心篇 大数据 Flink 详解 三 核心篇 大数据 Flink 详解 四 核心篇 大数据 Flink 详解 五 核心篇 大数据 Flink 详解 六 源码篇
  • Flink + Hudi 实现多流拼接(大宽表)

    1 背景 经典场景 Flink 侧实现 业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表 但这种解决方案在实践中面临较多挑战 主要可分为以下两种情况 维表 JOIN 场景挑战 指标数据与维度数据进行关联 其中维度数据
  • 大数据技术之 Flink-CDC

    第1章 CDC简介 1 1 什么是 CDC CDC 是 Change Data Capture 变更数据获取 的简称 核心思想是 监测并捕获数据库的变动 包括数据或数据表的插入 更新以及删除等 将这些变更按发生的顺序完整记录下来 写入到消息
  • Flink checkPoint和SavePoint

    savepoint和checkpoint都是flink为容错提供的强大功能特性 能够自动或手动保存job的运行状态 两者区别 checkpoint 应用定时触发 用户保存状态 会过期 内部应用失败重启的时候启用 但是手动cancel时 会删
  • 如何在 Flink 1.9 中使用 Hive?

    Flink on Hive 介绍 SQL 是大数据领域中的重要应用场景 为了完善 Flink 的生态 发掘 Flink 在批处理方面的潜力 我们决定增强 FlinkSQL 的功能 从而让用户能够通过 Flink 完成更多的任务 Hive 是
  • flink 第一个窗口开始时间以及offset作用

    简述窗口开始时间 1 当flink程序启动时 创建的第一个window的开始时间是由程序决定的 具体的算法如下 2 窗口开始时间 第一条记录时间戳 第一条记录时间戳 窗口时长 也就是从utc0时区的1970 01 01 00 00 00 0
  • Flink_06_ProcessAPI(个人总结)

    声明 1 本文为我的个人复习总结 并非那种从零基础开始普及知识 内容详细全面 言辞官方的文章 2 由于是个人总结 所以用最精简的话语来写文章 3 若有错误不当之处 请指出 侧输出流 SideOutput 即分支流 可以用来接收迟到数据 也可
  • Flink_05_状态(个人总结)

    声明 1 本文为我的个人复习总结 并非那种从零基础开始普及知识 内容详细全面 言辞官方的文章 2 由于是个人总结 所以用最精简的话语来写文章 3 若有错误不当之处 请指出 状态 状态就是一块内存 一个变量 如果要访问历史窗口 或批次 的数据
  • 【flink番外篇】5、flink的window(介绍、分类、函数及Tumbling、Sliding、session窗口应用)介绍及示例(1)- 窗口介绍、分类、函数

    Flink 系列文章 一 Flink 专栏 Flink 专栏 系统介绍某一知识点 并辅以具体的示例进行说明 1 Flink 部署系列 本部分介绍Flink的部署 配置相关基础内容 2 Flink基础系列 本部分介绍Flink 的基础部分 比

随机推荐

  • .rar .zip 格式压缩/解压缩命令

    安装rar工具命令 sudo apt get install rar 安装不成功就重新启动虚拟机 rar x test rar 解压缩test文件 rar a test rar test 将目标文件test压缩为test rar zip r
  • Laya air 之实现按钮控制人物驱动模块

    国际惯例 先上效果图 一 场景布置 ok 下面将介绍如果实现摇杆操作物体 在这里我会创建一个res的文件夹用来存放这三张图 创建一个but节点挂到场景节点下 分别将内圆和外圆的图片挂载到该节点下 更名为out cricle和in cricl
  • ImportError: cannot import name ‘OrderedDict‘ from ‘typing‘ (/root/miniconda3/envs/clip/lib/...)

    出现这个错误的原因是因为python和pytorch的版本不一致 pytorch里的torchvision模块需要从typing中导入OrderedDict 但是python 3 7对应的typing包里没有OrderedDict 所以无法
  • vue 常见指令 双向绑定原理

    1 淘宝镜像 npm 的下载是需要访问国外服务器才可以下载 但是国内访问很慢 所以淘宝集团 自行搭建了一个服务器 这个服务器每隔10分钟就会把npm国外服务器的内容拉去一次 就叫淘宝镜像 要使用需要配置 npm i g cnpm regis
  • [Nowcoder] Agamemnon‘s Odyssey

    链接 Agamemnon the great king of Mycenae was assembling his troops in Aulis to sail to the shores of Troy when he had a vi
  • 交换字符使得字符串相同--贪心算法

    LeetCode 交换字符使得字符串相同 有两个长度相同的字符串 s1 和 s2 且它们其中 只含有 字符 x 和 y 你需要通过 交换字符 的方式使这两个字符串相同 每次 交换字符 的时候 你都可以在两个字符串中各选一个字符进行交换 交换
  • java map equals_Java HashMap equals()方法

    Java HashMap equals 方法 java util HashMap equals 方法用于检查两个HashMap之间的相等性 它验证作为参数传递的一个映射的元素是否等于该映射的元素 1 语法 public boolean eq
  • SOA中的两个概念:编制(orchestration)和编排(choreography)

    以下是摘自 Understanding SOA with Web Services 中文版 关于两个概念的解释 编制 orchestration 和编排 choreography 是常用于描述 合成Web服务的两种方式 的术语 虽然它们有共
  • C 和 C++的区别 / struct 和 class 的区别 / 指针和引用的区别 / new 与 malloc 的区别 / 堆和栈的区别 / sizeof 和 strlen 的区别

    C 和 C 的区别 主要从以下三个方面来谈 设计思想 编程思想方面 语言特性方面 语法 内存管理 库 执行效率方面 C 和 C 的区别 C 是面向过程的语言 而 C 是面向对象的语言 因此 C 语言中有类和对象以及继承多态这样的面向对象语言
  • maskrcnn-benchmark训练自己数据集用于视觉分割

    1 标记数据用labelme 建议用ubuntu版本去做 因为window可能因为这个需要环境改变影响其他 自己犯过这个问题 https github com wkentaro labelme 2 labelme转化成coco数据集用于分割
  • Hyperlynx仿真操作小点

    一 改变传输线的属性 双击传输线 在对话框中选择要的线型 设置部分线的阻抗 点击edit coupling regions栏 选择右上方的edit stackup 编辑想要的叠层属性 通常改变顶底层和电源层 地层之间的PP厚度 10 8 5
  • 使用Python和XPath解析动态JSON数据

    JSON动态数据在Python中扮演着重要的角色 为开发者提供了处理实时和灵活数据的能力 Python作为一种强大的编程语言 提供了丰富的工具和库来处理动态JSON数据使得解析和处理动态JSON数据变得简单和高效 例如 使用内置的json模
  • python自动化处理,PPT处理

    一 PPT相关库介绍 安装python pptx库 同其他文件转换pptx2md rst2pptx 导入库 import pptx 初始化 ppt pptx Presentation 二 幻灯片层次结构说明 PPT文件结构 PPT文件结构指
  • 深入理解JVM—垃圾回收机制

    一 前言 明确垃圾收集器关注的部分 堆和方法区 着重学习如何确定哪些垃圾需要回收 垃圾回收算法以及GC触发条件 二 如何确定哪些垃圾需要回收 1 引用计数算法 在对象中添加一个引用计数器 每当有一个地方引用它时 计数器值就加一 当引用失效时
  • ROS2系统节点开机自启动

    要将ROS2节点设置为开机自启动 您可以创建一个systemd服务单元来管理它 一 创建launch文件 cd ros2 ws mkdir launch touch launch ros launch py 编辑内容 from launch
  • # 解析bt文件_PC端BT资源搜索及下载,诸位请节制!

    Hello大家好 这里是TopOne软件管家 毕竟要求的人太多了 今天将我测试最好的搭配给大家分享一下 当然 这个是站在我的角度 大家可以根据自己的使用情况进行调整 今天分享的是PC端 由于Mac限制 苹果电脑现只提供BT搜索软件 BT搜索
  • Windows下基于WSL2的Ubuntu开发环境搭建

    1 背景介绍 Windows是市场占有率最高的桌面操作系统 嵌入式开发领域一般需要搭建ubuntu虚拟机环境以实现linux下的交叉编译等工作 传统的Vmvare Ubuntu虚拟机安装过程繁琐且资源消耗巨大 自从Windows提供WSL2
  • 数据分析08——Pandas中对数据进行数据清洗

    0 前言 使用pandas修改数据是否会改变源数据 Pandas 对 DataFrame 的操作通常是针对原始数据本身而不是其副本的 例如 当我们使用 loc 或 iloc 方法选择 DataFrame 中的某行或某列并进行修改时 实际上是
  • python实现手势识别

    python实现手势识别 入门 使用open cv实现简单的手势识别 刚刚接触python不久 看到了很多有意思的项目 尤其时关于计算机视觉的 网上搜到了一些关于手势处理的实验 我在这儿简单的实现一下 PS 和那些大佬比起来真的是差远了 毕
  • Flink Sql使用mysql-cdc捕获多个表失败的问题

    问题描述 要捕获同一个库里的多个表的binlog 程序不报错 但是修改某个表后没有结果没有任何改变 fllinkSql的with语句 WITH connector mysql cdc hostname s port s username s