我有一个正在运行的 Apache - Airflow 1.8.1 实例。
我有一个工作连接（及其 ID）可以写入 Google Cloud Storage，并且我的气流用户有权写入存储桶。
我尝试通过添加来使用远程日志存储功能
remote_base_log_folder = 'gs://my-bucket/log'
remote_log_conn_id = 'my_working_conn_id'
仅此而已（除此之外我没有触及任何配置）
我重新启动了所有服务，但日志没有上传到 gcs（我的存储桶仍然是空的），并且我的文件系统空间仍在减少。
您是否已成功启用 gcs 远程日志？如果是，您改变/做了什么？
我设法将远程日志记录到 GCS。首先，您需要授予服务帐户写入 GCS 存储桶的权限。
这是我设置的 GCP 连接：
然后，编辑airflow.cfg文件：
remote_base_log_folder = gs://my-backup/airflow_logs
remote_log_conn_id = my_gcp_conn
编辑配置文件后，需要重新初始化：
airflow initdb
# start the web server, default port is 8080
airflow webserver -p 8080
通过打开“教程”DAG 进行测试，您应该能够在 GCS 中看到本地和远程日志：
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
