我们有一个 Luigi 任务,它向第三方服务请求一条信息。我们对该 API 调用每分钟可以执行的调用请求数量受到限制。
有没有办法在每个任务的基础上指定调度程序每单位时间必须运行多少个此类任务?
我们在任务中实施了自己的速率限制。我们的 API 限制足够低,我们可以用单个线程使其饱和。当我们收到速率限制响应时,我们只是后退并重试。
您可以做的一件事是将 API 调用声明为resource http://luigi.readthedocs.io/en/stable/configuration.html#resources-config。您可以在配置中设置有多少资源可用,然后任务消耗多少资源任务的属性 http://luigi.readthedocs.io/en/stable/api/luigi.task.html?highlight=resources#luigi.task.Task.resources。这将限制您一次运行 n 个该任务。
在配置中:
[resources]
api=1
在任务代码中:
resources = {"api": 1}
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)