Python
Java
PHP
IOS
Android
Nodejs
JavaScript
Html5
Windows
Ubuntu
Linux
Airflow 默认连接数过多
我打开气流并检查连接 发现其后面运行的连接太多 关于如何杀死那些我不使用的任何想法 或者我很想知道运行它的最小 conn id 建筑学 LocalExecutor 与其他经纪人不同 Postgres 作为元数据库 但它列出了 17 个连接
airflow
Amazon MWAA Airflow - 任务容器在没有日志的情况下关闭/停止/终止
我们使用 Amazon MWAA Airflow 很少有任务标记为 FAILED 但根本没有日志 就好像容器在我们没有注意到的情况下被关闭了一样 我找到了这个链接 https cloud google com composer docs h
amazonwebservices
airflow
mwaa
Airflow 2.x 中 DAG 导入错误的日志消息
我正在本地运行 Apache Airflow 2 x 使用中提供的 Docker Compose 文件文档 https airflow apache org docs apache airflow stable start docker h
airflow
编程错误:(psycopg2.errors.UndefinedColumn)关系“task_fail”的列“execution_date”不存在
我正在尝试在气流中运行 DAG 以将数据集摄取到谷歌云存储 这是 DAG 脚本 import os from airflow import DAG from airflow utils dates import days ago from
python
database
googlecloudplatform
airflow
directedacyclicgraphs
Docker 中的 Airflow:如何将 DAG 添加到 Airflow?
我想将 DAG 文件添加到 Airflow 它在 Ubuntu 上的 Docker 中运行 我用了以下git 存储库 https github com puckel docker airflow 包含配置和 docker 镜像的链接 当我跑
Docker
Ubuntu
airflow
气流 - 未知的蓝色任务状态
我刚刚收到一个蓝色任务 该任务没有出现在状态图例中 我很好奇这是一个错误还是未记录的状态 正如您所看到的 蓝色没有显示在右侧的潜在状态列表中 我刚刚完成了所有过去 未来和上游尝试的清理 仅供参考 这是一个已知的 TaskInstance 状
airflow
使用DockerOperator时如何同时使用xcom_push=True和auto_remove=True?
Problem 跑步时DockerOperator with xcom push True xcom all True and auto remove True 任务会引发错误 就好像容器在读取其内容之前被删除一样STDOUT Exampl
python
airflow
气流获取重试次数
在我的 Airflow DAG 中 我有一个任务需要知道它是第一次运行还是重试运行 如果是重试尝试 我需要调整任务中的逻辑 我对如何存储任务的重试次数有一些想法 但我不确定其中是否有合法的 或者是否有更简单的内置方法可以在任务中获取此信息
airflow
当气流 initdb 时,导入错误:无法导入名称 HiveOperator
我最近安装了airflow对于我的工作流程 在创建项目时 我执行了以下命令 airflow initdb 返回以下错误 2016 08 15 11 17 00 314 init py 36 INFO Using executor Seque
python27
hive
airflow
为什么我的 Airflow 任务被“外部设置为失败”?
我使用的是 Airflow 2 0 0 我的任务在运行几秒钟或几分钟后偶尔会被 外部 终止 任务通常会成功运行 都是通过以下方式启动的手动任务 airflow tasks test 以及计划的 DAG 运行 所以我相信这与我的 DAG 代码
airflow
使用不同间隔的任务运行 DAG
我有 3 个任务 A B 和 C 我只想运行任务 A 一次 然后每月运行任务 B 直到 end date 然后仅运行任务 C 一次以进行清理 这与这个问题类似 但不适用 如何在气流中的单个 Dag 上处理不同的任务间隔 https stac
airflow
directedacyclicgraphs
airflowscheduler
使用 Airflow BigqueryOperator 向 BigQuery 表添加标签
我必须向 bigquery 表添加标签 我知道可以通过 BigQuery UI 来完成此操作 但如何通过气流运算符来完成此操作 Use case 用于计费和搜索目的 由于多个团队在同一项目和数据集下工作 我们需要将各个团队创建的所有表组合在
googlecloudplatform
googlebigquery
airflow
googlecloudcomposer
BashOperator 为其他 PythonOperators 中使用的库引发 ImportError
我的 dag 构建器模块中有一组任务 该模块使用 Airflow 中全球使用的 Python 运算符 我正在 kubernetes 上使用 docker 部署气流 任务失败并显示错误消息 no module named pandas 使用
python
airflow
airflow webserver 命令失败并显示 {filesystemcache.py:224} 错误 - 不允许操作
我正在 Cent OS 7 上安装 Airflow 我已经配置了 Airflow db init 并检查了 nginx 服务器的状态及其工作正常 但是当我运行airflow webserver命令时 我收到下面提到的错误 2021 03 2
python
Nginx
webserver
airflow
如何获取使用 Dataproc 工作流模板提交的 jobId
我已在 Airflow 操作员的帮助下使用 Dataproc 工作流模板提交了 Hive 作业 DataprocWorkflowTemplateInstantiateInlineOperator https airflow readthed
BigQuery with Airflow - 缺少projectId
尝试下面的例子 https cloud google com blog big data 2017 07 how to aggregate data for bigquery using apache airflow https cloud
googlebigquery
airflow
气流,在 dag 运行之前标记任务成功或跳过它
我们有一个巨大的 DAG 其中有许多小而快速的任务和一些大而耗时的任务 我们只想运行 DAG 的一部分 我们发现最简单的方法是不添加我们不想运行的任务 问题是我们的 DAG 有很多相互依赖关系 因此当我们想要跳过某些任务时 不破坏 DAG
python
airflow
googlecloudcomposer
气流:找不到 dag_id
我在不同的 AWS 机器上运行气流服务器和工作线程 我已经在它们之间同步了 dags 文件夹 然后运行airflow initdb在两者上 并在运行时检查 dag id 是否相同airflow list tasks
airflow
气流:Dag 每隔几秒安排两次
我尝试每天仅运行一次 DAG00 15 00 午夜 15 分钟 然而 它被安排了两次 间隔几秒钟 dag DAG my dag default args default args start date airflow utils dates
concurrency
Cron
airflow
如何使用 Cloud Composer 将大数据从 Postgres 导出到 S3?
我一直在使用 Postgres to S3 运算符将数据从 Postgres 加载到 S3 但最近 我必须导出一个非常大的表 并且我的 Airflow Composer 失败 没有任何日志 这可能是因为我们正在使用 Python 临时文件模
python
postgresql
airflow
googlecloudcomposer
1
2
3
4
5
6
...14
»