程序员经验分享-hwhale

logback 在 Flink 中不起作用

2024-01-12

我有一个单节点 Flink 实例，它在 lib 文件夹中具有 logback 所需的 jar（logback-classic.jar、logback-core.jar、log4j-over-slf4j.jar）。我已从 lib 文件夹中删除了 log4j 的 jar（log4j-1.2.17.jar、slf4j-log4j12-1.7.7.jar）。 “logback.xml”也在“conf”文件夹中正确更新。我还在类路径中包含了“logback.xml”，尽管在作业运行时似乎并未考虑这一点。 Flink 仅引用conf 文件夹内的logback.xml。我已经根据 Flink 的文档更新了 pom.xml 以排除 log4j。 我在一些地图和平面地图函数内设置了一些日志条目，在这些函数之外设置了一些日志条目（例如：“程序执行开始”）。
当我运行作业时，Flink 仅写入那些在转换之外编码的日志。那些在转换（地图、平面地图等）内编码的日志不会写入日志文件。此外，Flink 在这方面表现出奇怪的行为。每当我更新 lib 文件夹内的 logback jar（由于版本更改）时，在下一次作业运行期间，所有日志（甚至是地图和平面地图内的日志）都会正确写入日志文件。但此后的任何运行中都不会写入日志。这意味着我的“logback.xml”文件是正确的，并且设置也是正确的。但我不明白为什么相同的设置在再次运行相同的作业时不起作用。

Update
这个问题已报告给 Flink 团队，他们已将其添加为 JIRA 中的错误https://issues.apache.org/jira/browse/FLINK-7990 https://issues.apache.org/jira/browse/FLINK-7990


None

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

logback

apacheflink

logback 在 Flink 中不起作用 的相关文章

  • Log4J - 类似 SiftingAppender 的功能

    我在一个使用的项目中工作Log4J http logging apache org log4j 1 2 index html 要求之一是为每个线程创建一个单独的日志文件 这本身就是一个奇怪的问题 通过动态创建一个新的 FileAppende

  • Flink TaskManager 超时？

    我正在运行 Flink 应用程序 通过 Yarn 似乎有时任务管理器会随机超时 这是错误 java util concurrent TimeoutException Heartbeat of TaskManager with id some

  • Apache Flink、JDBC 和 fat jar 是否存在类加载问题？

    使用 Apache Flink 1 8 并尝试运行RichAsyncFunction 我得到No Suitable Driver Found初始化 Hikari 池时出错RichAsyncFunction open 在 IDE 中它运行得很

  • logback.xml 并从 JetBrains IDEA IDE 运行应用程序

    我在IDEA中开发应用程序时 logback xml应该放在哪里才能对应用程序产生影响 当您运行 调试 IDEA 时 似乎不会生成任何 jar 也不会调用 Maven 来构建某些内容 它是否直接从编译的 class 文件执行 main 如果

  • 设置带有谨慎标志和文件位置的 Logback RollingFileAppender

    我怎样才能创建一个RollingFileAppender在 Logback 中接受谨慎标志并允许我指定日志文件的位置 我尝试了以下方法 但据我从文档中了解到 logback 不支持文件属性 还有其他方法来设置日志文件位置吗

  • 如何使用Logback以JSON方式登录？

    我是 SLF4J 和 Logback 的新手 我正在尝试记录以下 API 的每个请求和响应link https pivotal io de application transformation recipes observability r

  • Flink 使用 Ceph 作为持久存储

    Flink 文档建议 Ceph 可以用作状态的持久存储 https ci apache org projects flink flink docs release 1 3 dev stream checkpointing html http

  • logback 支持 log4j 附加程序吗？

    为 log4j 创建的自定义 Appender 扩展 AppenderSkeleton 可以与 new 一起使用吗logback框架 我知道logback带有自己的一组类似于 log4j 的附加程序 但这是否可以重用现有的附加程序 如何 以

  • flink - 使用匕首注入 - 不可序列化？

    我使用 Flink 最新通过 git 从 kafka 流式传输到 cassandra 为了简化单元测试 我通过 Dagger 添加依赖注入 ObjectGraph 似乎已正确设置自身 但 内部对象 被 Flink 标记为 不可序列化 如果我

  • logback 消息字段可以被截断/修剪为 n 个字符吗？

    有时会看到巨大的日志消息 并且并不总是能够 轻松 自动换行 有没有办法截断 message比如说 80 个字符logback xml 看一下格式修饰符部分 From http logback qos ch manual layouts ht

  • 我可以将 flink RocksDB 状态后端与本地文件系统一起使用吗？

    我正在探索使用 FlinkrocksDb 状态后端 文档似乎暗示我可以使用常规文件系统 例如 file data flink checkpoints 但代码 javadoc 仅在此处提到 hdfs 或 s3 选项 我想知道是否可以将本地文件

  • Apache Flink - “keyBy”中的异常处理

    由于代码错误或缺乏验证 进入 Flink 作业的数据可能会触发异常 我的目标是提供一致的异常处理方式 我们的团队可以在 Flink 作业中使用这种方式 而不会导致生产中出现任何停机 重启策略似乎不适用于此处 因为 简单的重启无法解决问题 我

  • 使用 Elastic Beanstalk 进行 Logback

    我在使用 Elastic Beanstalk 记录应用程序日志时遇到问题 我正在 AWS Elastic Beanstalk 上的 Tomcat 8 5 with Corretto 11 running on 64bit Amazon Li

  • 如何通过 JUnit 测试拦截 SLF4J（带 logback）日志记录？

    是否有可能以某种方式拦截日志记录 SLF4J logback 并获得InputStream 或其他可读的东西 通过 JUnit 测试用例 Slf4j API 没有提供这样的方法 但 Logback 提供了一个简单的解决方案 您可以使用Lis

  • Logback线程池

    我使用 Logback 进行日志记录 我有一个问题 我将 AsyncAppender 与 ConsoleAppender 结合使用 当应用程序启动时 它会创建具有 logback 线程名称的线程池 所有日志记录工作均由 AsyncAppen

  • SLF4J - Logback：如何在运行时配置记录器？

    我们在项目中使用 LogBack 我想根据一些数据库值配置记录器 即如果某个数据库值设置为 true 则记录器应同时使用文件和数据库附加程序 如果为 false 则记录器必须仅使用数据库附加程序 我还想保留使用静态最终记录器 因此我不会在每

  • Flink Kafka - 如何使应用程序并行运行？

    我正在 Flink 中创建一个应用程序 读取某个主题的消息 对其进行一些简单的处理 将结果写入不同的主题 我的代码确实有效 然而它不并行运行我怎么做 看来我的代码只在一个线程 块上运行 在 Flink Web 仪表板上 应用程序进入运行状态

  • Flink 在 Kubernetes 上的部署和 Native Kubernetes 有什么不同

    黑白的主要区别是什么原生 Kubernetes https ci apache org projects flink flink docs stable ops deployment native kubernetes html and 库

  • 2022年Flink可以支持什么Java版本？

    假设我开始一个新的 Flink Java 项目 如果我寻找 稳定的 Flink Java 生产体验 我应该使用哪个版本 官方docs https nightlies apache org flink flink docs master do

  • 我想使用 Flink 的 Streaming File Sink 写入 ORC 文件，但它无法正确写入文件

    我正在从 Kafka 读取数据并尝试将其以 ORC 格式写入 HDFS 文件系统 我使用了他们官方网站上的以下链接参考 但我可以看到Flink为所有数据写入完全相同的内容并生成这么多文件并且所有文件都可以103KB https ci apa

随机推荐

  • 如何使用 jquery 单击链接来执行键盘快捷键 CTRL + P [重复]

    这个问题在这里已经有答案了 I want to print a page to do so I have to click CTRL P so I would like to make a link to ease the process

  • 系统表master..spt_values的用途是什么？其值的含义是什么？

    系统表master spt values的目的是什么 为什么提供它以及应该如何使用它 它的类型 低值 高值的含义是什么 Update 谷歌搜索给出了数千个 其用途 例如 使用 master spt values 拆分列 https stac

  • 按近时间对数据行进行分组

    这是我面临的问题 我有一个包含行的大表 我想按接近的时间对它们进行分组 更具体地说是时间差小于 2 分钟 示例如下 具有以下输入数据 16 01 01 乙 16 01 20 中 16 14 02 日 16 15 01 下午 16 20 02

  • 确保按顺序处置多个 IDisposable

    我有两个IDisposables我需要按顺序处理 从第一次开始 顺序就很重要IDisposable终止依赖于将被第二个终止的服务的 Rx 订阅IDisposable 这是在 Windows 窗体应用程序中 其中订阅IObservable需要

  • Javascript 清除字段功能不起作用？

    这是我为明文字段创建的函数 但是当输入任何自定义值时 它不会清除 function clear document getElementById bmw1 value document getElementById bmw2 value do

  • 构建容器时如何制作纱线缓存模块？

    这是我的Dockerfile为当地发展 FROM node 12 alpine WORKDIR usr app ENV DEV 1 COPY package json COPY yarn lock RUN yarn frozen lockf

  • 当父进程被杀死时，子进程也被杀死

    我正在使用创建新流程System Diagnostics Process我的应用程序中的类 我希望当 如果我的应用程序崩溃时杀死这个进程 但是 如果我从任务管理器终止我的应用程序 子进程不会被终止 有没有办法让子进程依赖于父进程 From

  • 在 MSBuild 中找出当前操作系统的“位”

    我有一个构建脚本 需要对可执行文件的路径进行硬编码 路径是 C Program Files Microsoft Visual Studio 9 0 SmartDevices SDK SDKTools cabwiz exe 这工作得很好 但现

  • 如何执行 Bash 命令并收集 Java 的输出？

    如何执行 Bash 命令并收集 Java 的输出 大家好 基本上我正在编写一个基本的控制台应用程序 并且希望能够从中运行命令 例如 sudo halt ifconfig 等 有什么见解吗 您可以使用流程构建器 http download o

  • 使用 Lazy 是否会降低性能？

    最近 我遇到了一个单例类的问题 该类延迟初始化字典 其中第二个线程会在实际填充字典之前尝试使用它 所以我通过以下方式实现了变量初始化Lazy

  • Gandi.net 和 Heroku 域路由

    我的 io 域适用于 www domain io 但不适用于 domain io 版本 以下是我尝试过的每个版本和修订版 每个版本和修订版之间都有充足的时间 我等 10800 IN A 174 129 212 2 10800 IN A 75

  • subprocess.check_output()：失败时显示输出

    的输出subprocess check output 目前看起来像这样 CalledProcessError Command foo returned non zero exit status 1 有没有办法获得更好的错误消息 我想看看st

  • 在哪里可以学习 DirectX 编程？ [关闭]

    Closed 这个问题不符合堆栈溢出指南 help closed questions 目前不接受答案 我想学习 C 编程中的 DirectX 我决定学习DirectX 于是在网上找了一些教程 但是都是very复杂且难以理解 我花了3天时间看

  • .cc 和 .cpp 文件后缀有什么区别？

    有什么区别 cc and cpp文件扩展名 从Google 我了解到它们都来自C 语言 但我不确定它们之间的区别 惯例 从历史上看 C 源文件的后缀是 C 这在第一次移植 C 时引起了一些问题 对于文件名中大小写不重要的系统 不同的用户采用

  • 如何在 Substrate 的智能合约平台 ink 上保存字符串值？

    我最初尝试了这个问题中所教授的实现 如何在 Substrate 上保存字符串值 https stackoverflow com questions 63221904 how can i save string value on substr

  • 如何通过 rmarkdown 自动将 networkD3::sankeyNetwork() 保存到静态图像中？

    当我在 rmarkdown 中编写报告时 我的所有数据都会自动保存在该文件夹下graphs 然而 由于桑基图不同 它不会自动保存为图片 png 等 有解决方法吗 无需通过 RStudio Plots 面板手动保存每个图表 I saw 这个问

  • 如何在 Kotlin 中打印 ClosedRange

    我正在学习 Kotlin 并且我正在尝试理解Ranges 我创建了一系列String如下 val alpha A Z 我想打印我写的这个 for item in alpha println item 但它给出了错误 错误 13 18 Kot

  • 什么时候工厂方法比简单工厂更好，反之亦然？

    我正在阅读 Head First Design Patterns 一书 我相信我了解简单工厂和工厂方法 但我很难看出工厂方法相对于简单工厂带来的优势 如果对象 A 使用简单工厂来创建其 B 对象 那么客户端可以这样创建它 A a new A

  • 到 Out-GridView 和 Out-File 的管道有不同的行？

    以下命令仅返回一行 参数 Context 10被忽略 select string path file txt pattern Context 10 Out GridView 但是 以下命令创建一个包含所有行的文件 select string

  • logback 在 Flink 中不起作用

    我有一个单节点 Flink 实例 它在 lib 文件夹中具有 logback 所需的 jar logback classic jar logback core jar log4j over slf4j jar 我已从 lib 文件夹中删除了

热门标签