Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Airflow 1.10.3 - 空白“最近任务”和“DAG 运行”
我在 Ubuntu 18 10 上安装了 Airflow 1 10 3 并且能够添加 DAG 并运行它们 但 Web UI 中的 最近任务 和 DAG 运行 为空 我所看到的只是一个黑色虚线圆圈 它不断加载 但什么也没有实现 我最近将 Ai
airflow
airflowscheduler
Airflow:网络服务器未找到新的 DAG
在 Airflow 中 我应该如何处理错误 此 DAG 在网络服务器 DagBag 对象中不可用 它显示在此列表中 因为调度程序将其在元数据数据库中标记为活动状态 我已将新的 DAG 复制到 Airflow 服务器 并尝试过 取消暂停并刷新
airflow
airflowscheduler
使用不同间隔的任务运行 DAG
我有 3 个任务 A B 和 C 我只想运行任务 A 一次 然后每月运行任务 B 直到 end date 然后仅运行任务 C 一次以进行清理 这与这个问题类似 但不适用 如何在气流中的单个 Dag 上处理不同的任务间隔 https stac
airflow
directedacyclicgraphs
airflowscheduler
dag.py 引发:“airflow.exceptions.AirflowException:任务缺少 start_date 参数”,但它在代码中给出
我今天尝试创建我的第一个气流 DAG from datetime import timedelta from airflow import DAG from airflow operators bash operator import Ba
python3x
airflowscheduler
airflow
任务之间的气流延迟
As you can see in the image airflow is making too much time between tasks execution it almost represents 30 of the DAG e
python
airflow
directedacyclicgraphs
airflowscheduler
如何向正在运行的气流服务添加新的 dag?
我有一个气流服务 当前作为网络服务器和调度程序的单独 Docker 容器运行 两者都由 postgres 数据库支持 我在两个实例之间同步了 dags 并且在服务启动时正确加载了 dags 但是 如果我在服务运行时将新的 dag 添加到 d
python
airflow
airflowscheduler
Airflow Worker - 连接中断:IncompleteRead(0 字节读取)
使用 Airflow Worker 和 Web 服务器 调度程序作为在 EC2 上的 Kubernetes Engine 上运行的 Docker 映像 我们有一个任务KubernetesPodOperator这是资源密集型的 每 15 分钟
python
airflow
airflowscheduler
Airflow - 处理 DAG 回调的正确方法
我有一个DAG然后每当它成功或失败时 我希望它触发一个发布到 Slack 的方法 My DAG args就像下面这样 default args on failure callback slack slack message sad mess
python
airflow
airflowscheduler
Airflow:只有一项任务的简单 DAG 永远不会完成
我制作了一个非常简单的 DAG 如下所示 from datetime import datetime from airflow import DAG from airflow operators bash operator import B
airflow
airflowscheduler
Airflow + Cluster + Celery + SQS - Airflow Worker:“Hub”对象没有属性“_current_http_client”
我正在尝试对我的 Airflow 设置进行集群 并且正在使用本文 https i stack imgur com JRNOj png这样做 我刚刚配置了我的airflow cfg文件以使用CeleryExecutor 我指着我的sql al
python
Celery
amazonsqs
airflow
airflowscheduler
删除 Airflow Scheduler 日志
我正在使用 Docker Apache Airflow 版本 1 9 0 2 https github com puckel docker airflow https github com puckel docker airflow 调度程
Docker
dockercompose
airflow
dockervolume
airflowscheduler
Airflow:ValueError:无法配置处理程序“处理器” - wasb 记录器
我正在尝试使用 Azure blob 配置远程日志记录 Airflow version 1 10 2 Python 3 6 5 Ubuntu 18 04 以下是我所做的步骤 在 AIRFLOW HOME config log config
airflow
airflowscheduler
Airflow DAG动态结构
我正在寻找一个可以决定 dag 结构的解决方案当 dag 被触发时因为我不确定我必须运行的操作员数量 请参阅下面我计划创建的执行顺序 Task B 1 Task C 1 Task B 2 Task C 2 Task A Task B 3 g
airflow
airflowscheduler
如何自动重新安排气流任务
我正在运行一个每小时的进程 从一个位置 源 获取数据并将其移动到另一个位置 目的地 在大多数情况下 数据在特定时间到达我的来源 一切正常 但可能会出现延迟 当发生这种情况时 气流中的任务会失败 需要手动重新运行 解决此问题的一种方法是为数据
airflow
airflowscheduler
如何为气流设置多个调度程序
我们最近转向了气流 2 0 我想了解设置多个调度程序的过程 我尝试查看各种来源 包括使用天文学家 cli 的程序 但我们没有使用它 对于包括气流文档在内的其他来源 虽然他们提到可以这样做并给出了有关数据库要求的一些详细信息 但他们没有提供有
airflow
airflowscheduler
Airflow dags 生命周期事件
我正在尝试通过java后端管理气流dags 创建 执行等 目前 在创建 dag 并将其放入气流的 dags 文件夹中之后 我的后端不断尝试运行 dag 但在气流调度程序接收到它之前它无法运行它 如果 dag 的数量较多 这可能需要相当长的时
airflow
airflowscheduler
气流日志文件异常
我正在使用 apache airflow 来运行我的 dags 我收到一个异常 Log file does not exist opt airflow logs download2 download2 2020 07 26T15 00 00
airflowscheduler
airflow
Airflow 能否持续访问短期动态生成任务的元数据?
我有一个 DAG 每当检测到文件时FileSensor 为每个文件生成任务以 1 将文件移动到暂存区域 2 触发单独的 DAG 来处理文件 FileSensor gt Move File1 gt TriggerDAG File1 gt Do
airflow
airflowscheduler
如何将参数从pythonoperator任务传递到airflow dag中的simplehttpoperator任务?
我想触发一个简单的httpoperator 如下所示 气流trigger dag test trigger conf name something 然后我使用 pythonoperator python callable 通过使用 kwar
airflow
airflowscheduler
Apache Airflow 中的调度程序间隔和启动时间工作不正确
找不到任务开始时间的解决方案 我有代码 但找不到我错在哪里 当我运行 DAG 时 25 03 26 03 27 03 任务已经完成 但是今天 28 03 6点48分任务还没有开始 我尝试过使用 cron 表达式 钟摆 日期时间 结果是相同的
python
python3x
airflow
airflowscheduler
1
2
»