Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
我可以通过编程方式确定 Airflow DAG 是计划的还是手动触发的?
我想创建一个片段 根据 DAG 是计划的还是手动触发的来传递正确的日期 DAG 每月运行一次 DAG 根据上个月的数据生成报告 SQL 查询 如果我运行预定的 DAG 我可以使用以下 jinja 片段获取上个月的数据 execution d
airflow
如何传递动态参数 Airflow 运算符?
我正在使用 Airflow 在 Google Cloud Composer 上运行 Spark 作业 我需要 创建集群 用户提供的YAML参数 Spark 作业列表 作业参数也由每个作业 YAML 提供 借助 Airflow API 我可以
googlecloudplatform
googlecloudcomposer
airflow
气流池使用的插槽大于插槽限制
有三个传感器任务并使用相同的池 池 limit sensor 设置为1 但池限制不起作用 三个池一起运行 sensor wait SqlSensor task id sensor wait dag dag conn id dest data
airflow
Airflow + Cluster + Celery + SQS - Airflow Worker:“Hub”对象没有属性“_current_http_client”
我正在尝试对我的 Airflow 设置进行集群 并且正在使用本文 https i stack imgur com JRNOj png这样做 我刚刚配置了我的airflow cfg文件以使用CeleryExecutor 我指着我的sql al
python
Celery
amazonsqs
airflow
airflowscheduler
使用 Airflow 将 mysql 数据加载到 bigquery 的 dag 出现“无效参数传递”错误
我运行一个 DAG 提取 MySQL 数据并将其加载到气流中的 BigQuery 我目前收到以下错误 usr local lib python2 7 dist packages airflow models py 1927 PendingD
python
mysql
googlebigquery
airflow
操作员之间的气流和数据传输
我是 Airflow 新手 对 Airflow 及其处理器有疑问 当处理器产生输出时 如何将该输出作为输入移动到下一个处理器 有一个名为 nifi 的软件 它将中间输出存储到流文件中 据我所知 airflow 中没有这样的软件 那么这是怎么
airflow
如何在 Apache Airflow 中正确处理夏令时?
在气流中 一切都应该是 UTC 不受 DST 影响 但是 我们的工作流程可以根据受 DST 影响的时区交付内容 一个示例场景 我们安排了一项作业 开始日期为东部时间上午 8 00 计划间隔为 24 小时 每天东部时间上午 8 点 调度程序会
dst
airflow
我无法通过 BashOperator xcom_push 参数
我是 Airflow 的 xcom 功能的新手 我用 PythonOperator 尝试了它 它工作得很好 即 我可以从上下文中推送和提取值 但是当我在 BashOperator 上尝试它时 它不起作用 但是 我可以通过在任务创建期间添加
airflow
语法无效:使用初始排序键创建表排序键 auto
我正在尝试使用target redshift将数据推送到aws redshift https pypi org project target redshift https pypi org project target redshift 我
python3x
amazonredshift
airflow
ETL
删除 Airflow Scheduler 日志
我正在使用 Docker Apache Airflow 版本 1 9 0 2 https github com puckel docker airflow https github com puckel docker airflow 调度程
Docker
dockercompose
airflow
dockervolume
airflowscheduler
处理 Airflow DAG 随着时间的变化(DAG 版本控制)
我们有相对复杂的动态 DAG 作为 ETL 的一部分 DAG 包含数百个转换 它是基于一组 yaml 文件以编程方式创建的 它随着时间的推移而发生变化 添加新任务 任务执行的查询发生变化 甚至任务之间的关系也发生变化 我知道每次以这种方式更
airflow
googlecloudcomposer
Airflow:ValueError:无法配置处理程序“处理器” - wasb 记录器
我正在尝试使用 Azure blob 配置远程日志记录 Airflow version 1 10 2 Python 3 6 5 Ubuntu 18 04 以下是我所做的步骤 在 AIRFLOW HOME config log config
airflow
airflowscheduler
Airflow:如何扩展SubDagOperator?
当我尝试扩展气流 API 中提供的 SubDagOperator 时 气流网络服务器 GUI 无法将其识别为 SubDagOperator 从而使我无法放大 subdag 如何扩展 SubDagOperator 同时保留将其放大为 subd
airflow
气流:在特定时间重试
我需要创建一个绝对需要在 9 点之前运行的 Airflow 作业 我目前有一项工作从 7 小时开始 重试 8 间隔 15 分钟 8 15m 2 小时 不幸的是 我的工作需要更多时间 因此 任务在 9 小时 硬截止日期 后失败 我怎样才能让它
python
airflow
Apache Airflow - 完成时触发/安排 DAG 重新运行(文件传感器)
早上好 我也在尝试设置 DAG 监视 感知文件是否到达网络文件夹 处理文件 将文件归档 使用在线教程和 stackoverflow 我已经能够提出以下成功实现目标的 DAG 和 Operator 但是我希望 DAG 在完成后重新安排或重新运
triggers
airflow
directedacyclicgraphs
如何从 Python 脚本中触发气流 DAG 运行?
使用 apache airflow 我创建了一些 DAGS 其中一些不按计划运行 我正在尝试找到一种方法 可以从 Python 脚本中触发特定 DAG 的运行 这可能吗 我能怎么做 编辑 python 脚本将从与我所有 DAGS 所在的项目
python
python3x
airflow
directedacyclicgraphs
气流动态 dag 创建
有人请告诉我气流中的 DAG 是否只是一个图表 如占位符 没有任何与其关联的实际数据 如参数 或者 DAG 是否像一个实例 对于固定参数 我想要一个系统 其中要执行的操作集 给定一组参数 是固定的 但每次运行这组操作时 该输入都会不同 简单
airflow
Airflow DAG 版本控制
DAG 版本控制是一回事吗 我通过谷歌搜索找不到太多关于这个主题的信息 我想查看 Airflow 中的 DAG 屏幕 并确定 DAG 代码是什么 最简单的解决方案是将版本号作为dag id 但我很高兴知道是否有人有更好的替代解决方案 标签也
airflow
Airflow连接密码解密
我想解密气流连接的密码 从连接表中获取值 有什么方法可以解密密码值 你可以做 from airflow hooks base hook import BaseHook connection BaseHook get connection c
airflow
Airflow - 跳过未来的任务实例而不更改 dag 文件
我有一个 DAG abc 计划在每天上午 7 点 美国中部标准时间 运行 并且该 DAG 中有任务 xyz 由于某种原因 我不想为明天的实例运行任务 xyz 之一 如何跳过该特定任务实例 我不想对代码进行任何更改 因为我无权访问 Prod
airflow
«
1
2
3
4
5
6
7
...14
»