Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
气流中的execution_date:需要作为变量访问
我真的是这个论坛的新手 但有一段时间 我一直在为我们公司玩气流 抱歉 如果这个问题听起来很愚蠢 我正在使用一堆 BashOperators 编写一个管道 基本上 对于每个任务 我想简单地使用 curl 调用 REST api 这就是我的管道
airflow
如何在 Google Composer 上重新启动气流服务器?
当我需要在本地重新启动网络服务器时 我会这样做 ps ef grep airflow awk print 2 xargs kill 9 airflow webserver p 8080 D 我如何在 Google Composer 上执行此
如何检查何时为特定 dag 安排了下一次 Airflow DAG 运行?
我已设置气流并运行一些 DAG 安排每天一次 0 0 我想检查下次计划运行特定 dag 的时间 但我看不到可以在管理员中执行此操作的位置 如果你愿意 你可以使用Airflow s CLI 有next execution option htt
python
scheduledtasks
airflow
添加到本地主机数据库的气流连接(在 docker 上运行的 postgres)
我有一个本地运行的 dockerized postgres 我可以通过 pgAdmin4 和 via 连接到它psql 使用相同的连接详细信息 我在 UI 上设置了气流连接 但是 当尝试加载使用该连接的 DAG 时 它会抛出错误 损坏的 D
postgresql
Docker
airflow
Airflow initdb slot_pool 不存在
我面临一个问题airflowpostgres 后端初始化 乌班图 18 04 1 气流 v1 10 6 Postgres 10 10 Python 3 6 当我跑步时 airflow initdb I get 2019 11 22 10 1
postgresql
airflow
使用 AWS ElastiCache 请求中的 Airflow CROSSSLOT 密钥未散列到同一插槽错误
我在 AWS ECS 上运行 apache airflow 1 8 1 并且有一个 AWS ElastiCache 集群 redis 3 2 4 运行 2 个分片 2 个启用多可用区的节点 集群 Redis 引擎 我已经验证气流可以毫无问题
Redis
amazonelasticache
airflow
如何向正在运行的气流服务添加新的 dag?
我有一个气流服务 当前作为网络服务器和调度程序的单独 Docker 容器运行 两者都由 postgres 数据库支持 我在两个实例之间同步了 dags 并且在服务启动时正确加载了 dags 但是 如果我在服务运行时将新的 dag 添加到 d
python
airflow
airflowscheduler
Airflow Worker - 连接中断:IncompleteRead(0 字节读取)
使用 Airflow Worker 和 Web 服务器 调度程序作为在 EC2 上的 Kubernetes Engine 上运行的 Docker 映像 我们有一个任务KubernetesPodOperator这是资源密集型的 每 15 分钟
python
airflow
airflowscheduler
没有这样的文件或目录 /airflow/xcom/return.json
创建了一个图像包含 airflow xcom return json在所有子目录上使用 chmod x 由于日志显示找不到文件或目录 尝试过 chmod x strtpodbefore KubernetesPodOperator names
airflow
在 Airflow 中编写和导入自定义插件
这实际上是两个问题合二为一 My AIRFLOW HOME结构如下 airflow dags plugins init py hooks init py my hook py another hook py operators init p
airflow
还有一个“此 DAG 在网络服务器 DagBag 对象中不可用”
这似乎是一个相当普遍的问题 我有一个 DAG 我不仅可以手动触发它airflow trigger dag 但它甚至按照其时间表执行 但拒绝显示在 UI 中 我已经多次重新启动网络服务器和调度程序 按 刷新 十亿次 然后运行它airflow
airflow
更改 AirFlow 中 Lambda 调用的“读取超时”
我有一个 lambda 始终需要超过 1 分钟才能完成执行 这是默认的问题LambdaInvokeFunctionOperator 因为默认情况下 它的钩子会创建一个Boto3与默认连接读取超时60 秒 意味着 60 秒后 如果 Lambd
python3x
awslambda
airflow
mwaa
使用airflow的DataflowPythonOperator安排数据流作业时出错
我正在尝试使用airflow 的DataflowPythonOperator 来安排数据流作业 这是我的 dag 运算符 test DataFlowPythonOperator task id my task py file path my
airflow
dataflow
从 Airflow Postgres 挂钩检索完整连接 URI
有没有更简洁的方法从 Postgres 挂钩获取完整的 URI get uri 不包含 额外 参数 所以我像这样附加它们 def pg conn id to uri postgres conn id hook PostgresHook po
python
postgresql
airflow
AWS Lambda 和 Apache Airflow 集成
想知道是否有人可以阐明这个问题 我正在尝试找到 Airflow REST API URL 以启动 DAG 以从 AWS Lambda 函数运行 到目前为止 除了查看 Apache 孵化器站点提供的所有相关文档之外 解决该问题的唯一指导是在
Lambda
airflow
Airflow - 处理 DAG 回调的正确方法
我有一个DAG然后每当它成功或失败时 我希望它触发一个发布到 Slack 的方法 My DAG args就像下面这样 default args on failure callback slack slack message sad mess
python
airflow
airflowscheduler
Airflow:只有一项任务的简单 DAG 永远不会完成
我制作了一个非常简单的 DAG 如下所示 from datetime import datetime from airflow import DAG from airflow operators bash operator import B
airflow
airflowscheduler
在 MWAA 中设置 PYTHONPATH
我正在尝试在 MWAA 上的 dag 内使用本地模块 文件夹结构如下 init py dags init py my dag init py dag py utils init py file py secrets py date py 我
python
amazonwebservices
airflow
mwaa
如何在 Airflow 中安装软件包?
我在 Airflow 在 GCP 上 部署了一个 dag 但收到错误 没有名为 scipy 的模块 如何在 Airflow 中安装软件包 我尝试添加一个单独的 DAG 来运行 def pip install package subproce
pip
airflow
如何在 Airflow 中使用 HashiCorp Vault?
我开始使用 Apache Airflow 我想知道如何有效地使其使用存储在 Vault 中的秘密和密码 不幸的是 搜索不会返回超出范围的有意义的答案Airflow 中尚未实现的钩子 https issues apache org jira
python
python3x
airflow
hashicorpvault
«
1
2
3
4
5
6
...14
»