程序员经验分享-hwhale

Airflow：如何删除 DAG？

2023-12-24

我已经启动了 Airflow 网络服务器并安排了一些 dags。我可以在 Web GUI 上看到这些 dags。

如何删除正在运行并在 Web GUI 中显示的特定 DAG？有 Airflow CLI 命令可以做到这一点吗？

我环顾四周，但找不到在加载和计划 DAG 后删除 DAG 的简单方法的答案。


编辑 2018 年 8 月 27 日 - Airflow 1.10 现已在 PyPI 上发布！

https://pypi.org/project/apache-airflow/1.10.0/ https://pypi.org/project/apache-airflow/1.10.0/

如何彻底删除DAG

我们现在在 Airflow ≥ 1.10 中拥有此功能！

The PR #2199 https://github.com/apache/incubator-airflow/pull/2199 (Jira: 气流-1002 https://issues.apache.org/jira/browse/AIRFLOW-1002）将 DAG 删除添加到 Airflow 现已合并，允许从所有相关表中完全删除 DAG 条目。

核心删除_达格（...） https://github.com/apache/incubator-airflow/blob/7488f2938da4e08645060531aa363204db7f50a5/airflow/api/common/experimental/delete_dag.py#L28-L55代码现在是实验性 API 的一部分，并且有可用的入口点通过 CLI https://github.com/apache/incubator-airflow/blob/9dba430b683361fc0ed7f50de6daa03c971a476b/airflow/bin/cli.py#L214-L232并且通过 REST API https://github.com/apache/incubator-airflow/blob/7488f2938da4e08645060531aa363204db7f50a5/airflow/www/api/experimental/endpoints.py#L89-L103.

CLI:

airflow delete_dag my_dag_id

REST API（本地运行网络服务器）：

curl -X "DELETE" http://127.0.0.1:8080/api/experimental/dags/my_dag_id

有关 REST API 的警告：确保您的 Airflow 集群使用身份验证 https://airflow.apache.org/api.html#authentication在生产中。

安装/升级到 Airflow 1.10（当前）

要升级，请运行：

export SLUGIFY_USES_TEXT_UNIDECODE=yes

or:

export AIRFLOW_GPL_UNIDECODE=yes

Then:

pip install -U apache-airflow

记得检查一下更新.md https://github.com/apache/incubator-airflow/blob/master/UPDATING.md首先了解完整的详细信息！

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

airflow

Airflow：如何删除 DAG？ 的相关文章

  • 清除后气流强制重新运行上游任务，即使下游任务标记为成功

    我在 Airflow 中有任务 A gt B gt C 当我运行 DAG 并全部成功完成时 我希望能够单独清除 B 同时将 C 标记为成功 B 清除并进入 no status 状态 但当我尝试重新运行 B 时 什么也没有发生 我尝试过 ig

  • Airflow - 分支连接运算符

    我正在尝试加入 Airflow 中的分支操作员 我这样做了 op1 gt gt op2 op3 op4 op2 gt gt op5 op3 gt gt op6 op4 gt gt op7 op5 op6 op7 gt gt op8 它给出了

  • Airflow：ValueError：无法配置处理程序“处理器” - wasb 记录器

    我正在尝试使用 Azure blob 配置远程日志记录 Airflow version 1 10 2 Python 3 6 5 Ubuntu 18 04 以下是我所做的步骤 在 AIRFLOW HOME config log config

  • 删除 Airflow Scheduler 日志

    我正在使用 Docker Apache Airflow 版本 1 9 0 2 https github com puckel docker airflow https github com puckel docker airflow 调度程

  • 我无法通过 BashOperator xcom_push 参数

    我是 Airflow 的 xcom 功能的新手 我用 PythonOperator 尝试了它 它工作得很好 即 我可以从上下文中推送和提取值 但是当我在 BashOperator 上尝试它时 它不起作用 但是 我可以通过在任务创建期间添加

  • 操作员之间的气流和数据传输

    我是 Airflow 新手 对 Airflow 及其处理器有疑问 当处理器产生输出时 如何将该输出作为输入移动到下一个处理器 有一个名为 nifi 的软件 它将中间输出存储到流文件中 据我所知 airflow 中没有这样的软件 那么这是怎么

  • 如何在 Airflow 中使用 HashiCorp Vault？

    我开始使用 Apache Airflow 我想知道如何有效地使其使用存储在 Vault 中的秘密和密码 不幸的是 搜索不会返回超出范围的有意义的答案Airflow 中尚未实现的钩子 https issues apache org jira

  • Airflow - 处理 DAG 回调的正确方法

    我有一个DAG然后每当它成功或失败时 我希望它触发一个发布到 Slack 的方法 My DAG args就像下面这样 default args on failure callback slack slack message sad mess

  • 如何向正在运行的气流服务添加新的 dag？

    我有一个气流服务 当前作为网络服务器和调度程序的单独 Docker 容器运行 两者都由 postgres 数据库支持 我在两个实例之间同步了 dags 并且在服务启动时正确加载了 dags 但是 如果我在服务运行时将新的 dag 添加到 d

  • 添加到本地主机数据库的气流连接（在 docker 上运行的 postgres）

    我有一个本地运行的 dockerized postgres 我可以通过 pgAdmin4 和 via 连接到它psql 使用相同的连接详细信息 我在 UI 上设置了气流连接 但是 当尝试加载使用该连接的 DAG 时 它会抛出错误 损坏的 D

  • 如何记录 Airflow DAG 的输出以进行调试？

    我正在编写 Airflow DAG 但在函数方面遇到一些问题 我正在尝试通过将数据打印到标准输出并使用logging图书馆 我的示例 DAG 是 from datetime import timedelta import airflow i

  • 如何使用 Cloud Composer 将大数据从 Postgres 导出到 S3？

    我一直在使用 Postgres to S3 运算符将数据从 Postgres 加载到 S3 但最近 我必须导出一个非常大的表 并且我的 Airflow Composer 失败 没有任何日志 这可能是因为我们正在使用 Python 临时文件模

  • 气流，在 dag 运行之前标记任务成功或跳过它

    我们有一个巨大的 DAG 其中有许多小而快速的任务和一些大而耗时的任务 我们只想运行 DAG 的一部分 我们发现最简单的方法是不添加我们不想运行的任务 问题是我们的 DAG 有很多相互依赖关系 因此当我们想要跳过某些任务时 不破坏 DAG

  • 如何获取使用 Dataproc 工作流模板提交的 jobId

    我已在 Airflow 操作员的帮助下使用 Dataproc 工作流模板提交了 Hive 作业 DataprocWorkflowTemplateInstantiateInlineOperator https airflow readthed

  • 气流 - 未知的蓝色任务状态

    我刚刚收到一个蓝色任务 该任务没有出现在状态图例中 我很好奇这是一个错误还是未记录的状态 正如您所看到的 蓝色没有显示在右侧的潜在状态列表中 我刚刚完成了所有过去 未来和上游尝试的清理 仅供参考 这是一个已知的 TaskInstance 状

  • Docker 中的 Airflow：如何将 DAG 添加到 Airflow？

    我想将 DAG 文件添加到 Airflow 它在 Ubuntu 上的 Docker 中运行 我用了以下git 存储库 https github com puckel docker airflow 包含配置和 docker 镜像的链接 当我跑

  • 如何在Airflow中的PythonOperator的python_callable中提供异步函数？

    我有正在执行的任务 但这些任务通常是异步的 我正在尝试使用 Airflow 运行管道 但它给了我错误 类型错误 无法腌制协程对象 由于这些函数是异步的 我想将它们包装在 asyncio run 中 但仍然不起作用 class Top asy

  • Airflow log_id 格式错误

    我正在使用 Airflow v2 2 3 和apache airflow providers elasticsearch 2 1 0 在 Kubernetes 中运行 我们的日志会自动发送到 Elasticsearch v7 6 2 我在

  • 如何在 Apache Airflow 中混合使用 Celery Executor 和 Kubernetes Executor？

    我有多个使用 Celery Executor 的 dag 但我希望使用 Kubernetes Executor 运行一个特定的 dag 我无法推断出一种良好且可靠的方法来实现这一目标 我有一个airflow cfg我在其中声明了Celery

  • 基于外部文件的气流中的动态任务

    我正在从外部文件读取元素列表并循环元素以创建一系列任务 例如 如果文件中有 2 个元素 A B 将有2个系列的任务 A1 gt A2 B1 gt B2 此读取元素逻辑不是任何任务的一部分 而是 DAG 本身的一部分 因此 调度程序在读取 D

随机推荐

热门标签