多个 Docker 容器和 Celery

我们现在的项目结构如下：

1. 处理来自客户端的传入请求的 Web 服务器。
2. 向用户提供一些建议的分析模块。

我们决定保持这些模块完全独立，并将它们移动到不同的 docker 容器中。当用户的查询到达网络服务器时，它会向分析模块发送另一个查询以获取推荐。

为了使建议保持一致，我们需要定期进行一些后台计算，例如当新用户在我们的系统中注册时。此外，一些后台任务纯粹与 Web 服务器逻辑相关。为此，我们决定使用分布式任务队列，例如 Celery。

任务创建和执行可能有以下几种场景：

1. 在网络服务器上排队并在网络服务器上执行的任务（例如，处理上传的图像）
2. 在网络服务器上排队的任务，在分析模块上执行（例如，计算新用户的推荐）
3. 任务在分析模块中排队并在那里执行（例如，定期更新）

到目前为止，我看到在这里使用 Celery 的 3 种相当奇怪的可能性：

I. 芹菜放在单独的容器中，可以做所有事情

1. 将 Celery 移至单独的 docker 容器。
2. 提供网络服务器和分析中执行任务所需的所有包。
3. 与其他容器共享任务代码（或在网络服务器和分析中声明虚拟任务）

这样，我们就放松了隔离，因为功能是由 Celery 容器和其他容器共享的。

二.芹菜放在单独的容器中，作用要少得多

Same as I，但任务现在只是对 Web 服务器和分析模块的请求，这些请求在那里异步处理，结果在任务内部轮询直到准备好。

这样，我们就可以从代理中获益，但所有繁重的计算都从 Celery 工作线程中转移。

三．将芹菜分别放入每个容器中

1. 在 Web 服务器和分析模块中运行 Celery。
2. 将（分析任务的）虚拟任务声明添加到 Web 服务器。
3. 添加 2 个任务队列，一个用于 Web 服务器，一个用于分析。

这样，在网络服务器上安排的任务就可以在分析模块中执行。然而，仍然必须在容器之间共享任务代码或使用虚拟任务，此外，还需要在每个容器中运行 celery 工作线程。

做到这一点的最佳方法是什么，或者应该完全改变逻辑，例如，将所有内容移动到一个容器内？

首先，让我们澄清一下 celery 库（你可以用它得到的）之间的区别pip install或者在你的setup.py）和芹菜worker- 这是从代理中取出任务并处理它们的实际过程。当然你可能想要多个workers/processes（例如，用于将不同的任务分离给不同的工作人员）。

假设您有两个任务：calculate_recommendations_task and periodic_update_task并且您想在单独的工作人员上运行它们，即recommendation_worker and periodic_worker。 另一个过程将是celery beat这只是排队periodic_update_task每 x 小时进入经纪商。

另外，假设您有一个简单的 Web 服务器，使用以下方法实现bottle https://bottlepy.org/docs/dev/.

我假设您也想将 celery 代理和后端与 docker 一起使用，我将选择 celery 的推荐用法 -RabbitMQ https://www.rabbitmq.com/作为经纪人和Redis https://redis.io/作为后端。

现在我们有 6 个容器，我将它们写在docker-compose.yml:

version: '2'
services:
  rabbit:
    image: rabbitmq:3-management
    ports:
      - "15672:15672"
      - "5672:5672"
    environment:
      - RABBITMQ_DEFAULT_VHOST=vhost
      - RABBITMQ_DEFAULT_USER=guest
      - RABBITMQ_DEFAULT_PASS=guest
  redis:
    image: library/redis
    command: redis-server /usr/local/etc/redis/redis.conf
    expose:
      - "6379"
    ports:
      - "6379:6379"
  recommendation_worker:
    image: recommendation_image
    command: celery worker -A recommendation.celeryapp:app -l info -Q recommendation_worker -c 1 -n recommendation_worker@%h -Ofair
  periodic_worker:
    image: recommendation_image
    command: celery worker -A recommendation.celeryapp:app -l info -Q periodic_worker -c 1 -n periodic_worker@%h -Ofair
  beat:
    image: recommendation_image
    command: <not sure>
  web:
    image: web_image
    command: python web_server.py

两个 dockerfiles，它构建了recommendation_image和web_image应该安装芹菜library。只有recommendation_image应该有任务代码，因为工作人员将处理这些任务：

推荐 Dockerfile：

FROM python:2.7-wheezy
RUN pip install celery
COPY tasks_src_code..

WebDocker 文件：

FROM python:2.7-wheezy
RUN pip install celery
RUN pip install bottle 
COPY web_src_code..

其他图像（rabbitmq:3-management & library/redis可以从 docker hub 获得，当你运行时它们会自动拉取docker-compose up).

现在事情是这样的：在你的网络服务器中，你可以通过字符串名称触发 celery 任务，并通过任务 ID 提取结果（无需共享代码）网络服务器.py:

import bottle
from celery import Celery
rabbit_path = 'amqp://guest:guest@rabbit:5672/vhost'
celeryapp = Celery('recommendation', broker=rabbit_path)
celeryapp.config_from_object('config.celeryconfig')

@app.route('/trigger_task', method='POST')
def trigger_task():
    r = celeryapp.send_task('calculate_recommendations_task', args=(1, 2, 3))
    return r.id

@app.route('/trigger_task_res', method='GET')
def trigger_task_res():
    task_id = request.query['task_id']
    result = celery.result.AsyncResult(task_id, app=celeryapp)
    if result.ready():
        return result.get()
    return result.state

最后一个文件配置.celeryconfig.py:

CELERY_ROUTES = {
    'calculate_recommendations_task': {
        'exchange': 'recommendation_worker',
        'exchange_type': 'direct',
        'routing_key': 'recommendation_worker'
    }
}
CELERY_ACCEPT_CONTENT = ['pickle', 'json', 'msgpack', 'yaml']