Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
在气流 1.8 上失败时如何重新启动 dag?
With default args retries 1 retry delay timedelta seconds 1 我可以获取重试多次失败的任务 但是当任务失败 DAG重新启动时如何获取 当然 自动 您可以运行第二个 失败检查 DAG
restart
airflow
使用 kubernetes 执行器时 Airflow-dag_id 无法找到问题
我正在使用气流稳定的 Helm Chart 并使用 Kubernetes Executor 正在为 dag 安排新的 pod 但它因 dag id 无法找到问题而失败 我正在使用 git sync 来获取 dags 以下是错误和 kuber
Kubernetes
airflow
kubernetesexecutor
运行 docker 容器的 docker 内部的气流
我在 EC2 实例上运行气流 并且正在安排一些启动 Docker 容器的任务 我怎么做 我需要在气流容器上安装 docker 吗 以及下一步是什么 我有一个用于启动容器的 yaml 文件 它源自 puckel airflow Docker
Docker
airflow
Airflow 上具有 DataprocOperator 的组件网关
在 GCP 中 安装和运行非常简单JupyterHub 组件通过 UI 或 gcloud 命令 我正在尝试通过 Airflow 和DataprocClusterCreateOperator 这里是 DAG 的摘录 from airflow
python
googlecloudplatform
airflow
googleclouddataproc
Airflow安装成功,但无法运行
C Python27 Scripts gt airflow initdb airflow 不被识别为内部或外部命令 可运行的程序或批处理文件 C Python27 Scripts gt 气流初始化 airflow 不被识别为内部或外部命令
python
pip
airflow
将参数从气流运算符传递给 SQL 模板
如果我将 BigQueryOperator 与 SQL 模板结合使用 如何将参数传递给 SQL File sql 查询 sql SELECT FROM dataset task instance variable for execution
python
airflow
有没有办法为同一 DAG 中的任务配置不同的“重试”
我有一个 DAG 里面有很多子任务 在 DAG 的中间 有一个验证任务 根据任务的结果 返回代码 我想采取两条不同的路径 如果成功 将遵循一条路线 一系列任务 如果失败 我们将执行一组不同的任务 当前方法有两个问题 一是如果退出代码为 1
airflow
Airflow:为每个文件运行 DAG 的正确方法
我有以下任务需要解决 文件通过端点不定期发送并存储在本地 我需要为每个文件触发 DAG 运行 对于每个文件 将执行相同的任务 总体流程如下 对于每个文件 运行任务 A gt B gt C gt D 正在批量处理文件 虽然这项任务对我来说似乎
python
ETL
airflow
batchprocessing
directedacyclicgraphs
是否可以访问 AWS MWAA 中的 Airflow API?
我正在运行一个 AWS MWAA Airflow v2 0 2 实例 我想访问气流API 目前支持这个吗 计划未来发布 AWS 文档中没有提及这一点 看起来可以在 AWS MWAA Airflow v1 10 12 中启用实验性 API 但
amazonwebservices
airflow
mwaa
Airflow 任务失败/重试工作流程
我有任务的重试逻辑 但不清楚重试打开时 Airflow 如何处理任务失败 Their 文档只是指出on failure callback当任务失败时被触发 但是如果该任务失败并且也被标记为重试 这是否意味着on failure callba
airflow
Airflow:如何在非PythonOperator中使用xcom_push和xcom_pull
我看到很多关于如何使用的例子xcom push and xcom pull与 Airflow 中的 PythonOperators 一起使用 我需要去做xcom pull from a 非Python运算符类 但找不到如何做 任何指针或示例
airflow
Airflow 身份验证设置失败并显示“AttributeError:无法设置属性”
Airflow 版本 1 8 密码身份验证设置 如中所述docs在该步骤失败 user password set the password 有错误 AttributeError can t set attribute 最好简单地使用Pass
airflow
Airflow:为什么操作员有一个开始日期?
我不明白为什么我们需要操作员 任务实例 的 开始日期 我们传递给 DAG 的那个不就足够了吗 另外 如果当前时间是 UTC 2018 年 2 月 7 日上午 8 点 30 分 现在我将 dag 的 start date 设置为 2018 年
airflow
airflowscheduler
airflow TriggerDagRunOperator 如何更改执行日期
我注意到 对于计划任务 执行日期是根据过去设置的 Airflow 是作为 ETL 需求的解决方案而开发的 在 ETL 世界中 您通常会汇总数据 所以 如果我想总结数据 2016 02 19 我会在格林威治标准时间2016 02 20午夜进行
triggers
airflow
将字符串列表作为 Airflow 中相关任务的参数传递
我正在尝试通过以下方式将字符串列表从一个任务传递到另一个任务XCom但我似乎无法将推送列表解释回列表 例如 当我在某些函数中执行此操作时blah这是运行在ShortCircuitOperator paths gs format bucket
python
airflow
无法使用 SparkSubmitOperator 执行 Spark 作业
我能跑Spark工作使用BashOperator但我想用SparkSubmitOperator对于它使用Spark 独立模式 Here s my DAG for SparkSubmitOperator and 堆栈跟踪 args owner
airflow
气流 外部传感器卡在戳戳处
我希望一个 dag 在另一 dag 完成后开始 一种解决方案是使用外部传感器功能 您可以在下面找到我的解决方案 我遇到的问题是依赖的 dag 卡在 poking 上 我检查了这个answer并确保两个 dags 按相同的时间表运行 我的简化
airflow
airflowscheduler
MWAA - 气流 - PythonVirtualenvOperator 需要 virtualenv
我正在使用AWS的MWAA服务 2 2 2 运行各种 DAG 其中大多数都是使用标准 PythonOperator 类型实现的 我将 DAG 与任何共享需求一起捆绑到 S3 存储桶中 然后将 MWAA 指向相关对象和版本 到目前为止一切都进
python
amazonwebservices
airflow
virtualenv
mwaa
如何在 Airflow 中运行异步函数?
我正在编写一个气流任务来读取大型 csv 并将其保存到 postgresql 数据库 我发现这个 asyncpg 包具有复制功能 其运行速度比任何其他包都要快得多 然而 它是异步的 我不知道如何将它合并到Airflow中 这是示例代码 fr
python
asyncawait
airflow
运行 tweepy 的 Airflow 任务退出并返回代码 -6
我有一个简单的 Airflow DAG 它只有一个任务 stream from twitter to kafka 以下是 DAG 的代码 default args owner me depends on past False start d
python
airflow
tweepy
«
1 ...
9
10
11
12
13
14
15
»