apache-airflow 1.9 默认时区设置为非 utc

2023-11-21

我最近将气流版本从 Airflow 1.8 升级到 apache-airflow 1.9,升级成功,并且我使用 Celery Executor 扩展了环境,一切似乎都工作正常,但 dag 和任务开始日期、执行日期等都出现在UTC 时区和计划的 dag 在 UTC 中运行,在升级之前,它们曾经在本地时区(即 pdt)中运行。

关于如何将 pdt 作为气流中的默认时区有什么想法吗?

我尝试过使用default_timezone in the airflow.cfg to default_timezone = pdt但即使在重新启动所有服务后,它也会以 UTC 时间安排 dags 和任务。期待您帮助将默认时区修复为 pdt。


在版本 1.9.0 之前的本地时区中运行的 Airflow 是无意的,只是使用 Airflow 代码的副作用datetime.now() and datetime.today()代替datetime.utcnow()。这在 1.9.0 中得到了纠正气流-289,使事情独立于时区(始终是 UTC),正如您所观察到的。

对 Airflow 时区感知的官方支持已合并到主分支中。这项工作是作为气流-288 and is not在最新的稳定版本 (1.9.0) 中可用。您可能会在下一个主要版本中期待它。

一旦你做出了改变,马特的答案应该会让你得到你想要的东西。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

apache-airflow 1.9 默认时区设置为非 utc 的相关文章

  • Python 中的 datetime.fromtimestamp(os.path.getctime()) 是否为我提供了时区感知值?

    我在 Python 3 4 中使用这样的调用 x datetime fromtimestamp os path getctime somefilename y datetime fromtimestamp os path getmtime
  • Airflow 1.9 - 无法将日志写入 s3

    我在 aws 的 kubernetes 中运行气流 1 9 我希望将日志发送到 s3 因为气流容器本身的寿命并不长 我已经阅读了描述该过程的各种线程和文档 但我仍然无法让它工作 首先是一个测试 向我证明 s3 配置和权限是有效的 这是在我们
  • 使用Python查明时区当前是否处于夏令时[重复]

    这个问题在这里已经有答案了 我们有一个在 GMT 时间运行的服务器 我需要编写一个 Python 脚本来确定当前 此时此刻 加利福尼亚州洛杉矶是否为夏令时 DST 我怎样才能做到这一点 我查看了 pytz 和 time 但我无法弄清楚 我意
  • 使用 AT TIME ZONE 获取指定时区的当前时间

    我正在尝试使用新的在 SQL Server 2016 和 Azure SQL 中 我只是想获取伦敦的当前时间datetime 针对夏令时进行调整 运行以下所有命令时 伦敦时间为凌晨 3 27 点 第一步是获得一个datetimeoffset
  • 处理时区转换的 JavaScript 库

    是否有一个 JavaScript 库可以处理时区转换 并考虑 DST 规则和此类内容 我知道有类似的问题 但我见过的问题似乎都没有真正适合我的问题的答案 我想在时区 A 创建一个日期并能够对其进行操作 添加天数 小时等 然后将其转换为另一个
  • 气流:如何将读取 json 文件的方法放入本地库中

    我必须产生一些DAG 我已将 json 表架构文件保存在GCP铲斗 https cloud google com storage docs json api v1 buckets GCP 存储桶上的文件关联到composer将被重新映射到
  • 安装 apache-airflow 时出错:“无法为使用 PEP 517 的 setproctitle 构建轮子,并且无法直接安装”

    我正在尝试寻找一些安装 apache airflow 的帮助 我使用的是 MacOS 10 15 7 Python 版本 3 8 2 并且不断收到错误 错误 无法为使用 PEP 517 的 setproctitle 构建轮子 并且无法直接安
  • 在单元测试中运行 Airflow 1.9 的测试 Dag

    我已经实现了运行单个 dag 的测试用例 但它似乎在 1 9 中不起作用 可能是由于气流 1 8 中引入了更严格的池 我正在尝试运行以下测试用例 from airflow import DAG from airflow operators
  • 如何在日志中查看MySqlHook结果

    我在用MySqlHook建立连接气流数据库 并且我正在执行一些查询 但我需要在某处查看查询的结果 比如说日志 我怎样才能看到 这是示例代码 t1 MySqlOperator task id basic mysql mysql conn id
  • Airflow log_id 格式错误

    我正在使用 Airflow v2 2 3 和apache airflow providers elasticsearch 2 1 0 在 Kubernetes 中运行 我们的日志会自动发送到 Elasticsearch v7 6 2 我在
  • 使用 Noda 时间将奥尔森时区 ID 转换为 Windows 标准格式

    Olson 和 Windows 时间 ID 之间的转换已在 SO 上出现过多次 很多人推荐乔恩 斯基特 Jon Skeet 的野田时间 http code google com p noda time 为了这个任务 虽然 Google 代码
  • 测试正确的时区处理

    我们正在处理大量数据 所有数据均以 UTC Java 语言 标记 在读取这些数据 将其存储在数据库中以及再次将其取出之间 发生了一些数据在夏令时期间关闭一小时的情况 由于 UTC 没有夏令时的概念 这显然是软件中的一个错误 一旦知道 就很容
  • 如何使用AirFlow运行python文件的文件夹?

    我在 python 文件的文件夹中有一系列 Python 任务 file1 py file2 py 我阅读了 Airflow 文档 但我不知道如何在 DAG 中指定 python 文件的文件夹和文件名 我想执行这些 python 文件 不是
  • Helm Chart 发布官方气流

    我想知道如何使用官方气流 helm 图表编写 helm 发布 yaml 文件并覆盖 value yaml 文件 我正在尝试使用此配置文件在 kubernetes 集群上部署带有 Flux 的气流 我试过 apiVersion helm fl
  • Rails 3:如何获取特定时区今天的日期?

    为了获得今天的日期 我这样做 Date today gt Fri 20 May 2011 我想获取特定时区的今天日期 例如 Melbourne 我的设置中有以下设置application rb config time zone Melbou
  • 基于外部文件的气流中的动态任务

    我正在从外部文件读取元素列表并循环元素以创建一系列任务 例如 如果文件中有 2 个元素 A B 将有2个系列的任务 A1 gt A2 B1 gt B2 此读取元素逻辑不是任何任务的一部分 而是 DAG 本身的一部分 因此 调度程序在读取 D
  • PHP 中的 Europe/London 和 UTC 有区别吗? [关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我知道 UTC 和 GMT 实际上是
  • Windows CE 6.0 注册表中的时间设置

    我有一台装有 Windows CE 6 0 的 Motorola MC3100 移动条码扫描设备 现在我想让设备在启动时使用我创建的一些注册表文件与我们的域控制器同步其日期 时间 我使用了下面这两个注册表文件来接近我的需要 REG 1 HK
  • 如何获取 Oracle 上 SYSDATE 的 UTC 值

    可能是一个经典 您知道在 Oracle 上检索 SYSDATE 的 UTC 值的简单技巧吗 最好也能在第 8 版上工作 现在我有自定义函数 Cheers Stefan 您可以使用 SELECT SYS EXTRACT UTC TIMESTA
  • Javascript转换时区问题

    我在转换当前时区的日期时间时遇到问题 我从服务器收到此日期字符串 格式为 2015 10 09T08 00 00 这是中部时间 但是当我使用 GMT 5 中的 new Date strDate 转换此日期时间时 它返回给我的信息如下 这是不

随机推荐

  • Font-face 在 IE、otf 字体中不起作用

    我知道这个问题被问过多次 但在尝试后我无法让它工作 这是我用来导入自定义字体的简单 CSS 另外 我将其与引导程序一起使用 font face font family Montserrat Black src url Montserrat
  • 在成员函数内的 lambda 捕获列表中使用数据成员

    以下代码可以使用 gcc 4 5 1 进行编译 但不能使用 VS2010 SP1 进行编译 include
  • 退出 Smarty 以手动执行

    我面临的问题是 我不太确定如何在没有框架或模板引擎的情况下进行开发 我开始以这种方式编码 现在我想学习基础知识 我曾经使用过这种 MVC 模式 使用 Codeigniter 和 Smarty 作为模板引擎 我现在想做的是使用原始 php 而
  • 从远程 ssh 存储库进行 Git 克隆 - 在执行克隆命令之前更改远程网络上的机器

    我想将 git 存储库从我公司的服务器克隆到我的个人计算机 从 外部 访问这些服务器的唯一方法是通过 ssh 登录到 machine1 ssh email protected 不幸的是 git 没有安装在该特定机器上 所以像这样的 git
  • 如何提取

    标签之间的文本

    我想从 HTML 页面中提取文本p and li标签 这样我就可以开始对页面进行标记 为每个页面构建倒排索引 以便回答搜索查询 我怎样才能得到p使用 jsoup 的标签 Elements e doc select 该参数中要写入的字符串是什
  • 传递数据帧以在函数内进行变异

    我想传递一个数据框及其列 以供函数内的 dplyr 的 mutate 处理 这是一个例子 multifun lt function dataf vari mutate dataf newvar vari 2 multifun mtcars
  • 在 Haskell 中设置 argv[0]?

    有没有办法设置argv 0 在 Haskell 程序中 例如 用 ghc 编译的程序 我找到了getProgName and withProgNameSystem Environment 中的函数 但它似乎没有改变什么ps报告 Ubuntu
  • QComboBox AbstractItemView::item

    有没有办法可以增加 QComboBox 控件中列出的项目的高度 我尝试按照此处的建议进行操作在 QTDevNet 论坛中但没有运气 QComboBox QAbstractItemView item margin top 3px 我也尝试过这
  • 将 numpy 类型转换为 python

    我有一个从 pandas 生成的以下形式的字典列表 我想把它转换成json格式 list val 1 0 685 2 0 8 output json dumps list val 但是 json dumps 抛出错误 TypeError 6
  • PHP:如何使用 smtp 设置发送带有附件的电子邮件?

    我使用以下代码成功发送电子邮件 但现在我想在电子邮件中附加一个文本文件 例如 test txt 任何想法 require once Mail php from Usman lt email protected gt to Naveed lt
  • 具有 byte[] 字段作为存储过程参数的 DataTable

    我一直在重复使用这种使用 DataTable 作为存储过程参数的方法 并且效果很好 这是简化的工作代码 using dbEntities dbe new dbEntities var dt new dataTable dt Columns
  • 使用 OpenCV fitEllipse() 进行圆拟合

    使用OpenCV是否有效拟合椭圆用于圆拟合 fitEllipse 返回cv RotatedRect如何平均宽度和高度来获得拟合的圆半径 我认为使用的 有效性 cv fitEllipse拟合圆取决于您所需的拟合精度 例如 您可以在测试集上运行
  • HTMLCanvasElement 上未解决的方法 captureStream

    我的画布元素和方法有奇怪的情况captureStream 根据文档 HTMLCanvasElement 有一个方法captureStream 然而我的 Angular6 应用程序声称没有这样的方法 所以这段代码将不起作用 let canva
  • ITextSharp 解析包含图像的 HTML:它解析正确,但不会显示图像

    我正在尝试使用 ITextSharp 库从 html 生成 pdf 我能够创建 pdf 并将 html 文本转换为 pdf 文本 段落 我的问题 pdf 不显示我的图像 我的imghtml 中的元素 我所有的img我的 html 中的 ht
  • 如何 git 应用 git word diff

    我需要编辑一个混乱的提交 该提交仅更改了后续几行中的一个单词 保留其中一些更改并删除其他更改 这些变化很容易看出git diff word diff 并且以这种格式 我可以轻松地编辑帅哥来做我想做的事情 但现在我有一个像这样的文件 diff
  • 减少 App Store 中 iOS 应用程序的大小

    我正在尝试在 App Store 中提交应用程序 如果可能的话 我需要稍微减少其内存 我尝试了一种方法 我将在下面描述 来使我的应用程序更轻 但运气不佳 Details 我按照以下步骤查看导致尺寸如此之大的原因 将项目存档 分发它 节省用于
  • 简单的自定义事件

    我正在尝试学习自定义事件 并尝试创建一个 但似乎我遇到了问题 我创建了一个表单 静态类和自定义事件 我想要实现的是 当我按下按钮时 Form 将调用静态类函数 然后 func 将不时引发一个事件来报告当前状态 Form1 将侦听该事件是否引
  • 如何点击 Android 按钮然后转到 google play 应用程序

    我想知道如何制作一个 android 按钮可以点击并将用户重定向到 google play 示例 我想在用户单击我的活动中的按钮后将用户发送到 android 应用程序 https play google com store apps de
  • 更改 woocommerce 中每行的产品数量

    我正在使用 woocommerce 和 themefores 模板 默认情况下 woocommerce 每行显示 4 个产品 但我想显示 5 个 我正在使用子模板 因此我复制了 woocommerce 文件 并且里面有 content pr
  • apache-airflow 1.9 默认时区设置为非 utc

    我最近将气流版本从 Airflow 1 8 升级到 apache airflow 1 9 升级成功 并且我使用 Celery Executor 扩展了环境 一切似乎都工作正常 但 dag 和任务开始日期 执行日期等都出现在UTC 时区和计划