我们有相对复杂的动态 DAG 作为 ETL 的一部分。 DAG 包含数百个转换，它是基于一组 yaml 文件以编程方式创建的。它随着时间的推移而发生变化：添加新任务，任务执行的查询发生变化，甚至任务之间的关系也发生变化。
我知道每次以这种方式更改时都应该创建新的 DAG，并且 Airflow 不支持 DAG 版本控制，但这是真实的用例，我想听听是否有一些建议如何做到这一点。
最重要的要求之一以及我们想要尝试解决此问题的原因是，当我们在过去某个时刻清除回填时，我们必须了解 DAG 版本。这实际上意味着，当在过去的某个时刻执行 DAG 时，该 DAG 必须是该时刻的 DAG 版本，而不是最新版本。
任何建议都非常受欢迎。
None
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
