OLAP分析引擎Druid配置文件详解（四）：Overlord配置文件

摘要：
  本文是Druid配置文件系列博文的第四篇，我们将继续逐个介绍Druid的五大组件，前文已经介绍了Coordinator组件的配置文件，本文是第二个组件Overlord的介绍。

以下配置都在overlord/runtime.properties文件中。

Overlord Process Configs

这些配置在其他组件中也都有，这里不太详细介绍，如需了解请查看前一篇博文Coordinator配置文件

Overlord Operations

以下属性只在druid.indexer.runner.type为remote模式下有效。

此外，有一些用于自动扩容的配置：

Supervisors

Overlord Dynamic Configuration

Overlord能动态修改配置。
动态修改配置需要POST发送配置Json到以下url：

http://<OVERLORD_IP>:/druid/indexer/v1/worker

也可以通过GET方式请求以上url得到现有的配置。
header中可以添加两个参数用于审计配置的修改（也可以不指定）。X-Druid-Author指示做这个修改的用户。X-Druid-Comment指示做这个修改的一个备注。
以下是要发送的json body的一个例子：

{
  "selectStrategy": {
    "type": "fillCapacity",
    "affinityConfig": {
      "affinity": {
        "datasource1": ["host1:port", "host2:port"],
        "datasource2": ["host3:port"]
      }
    }
  },
  "autoScaler": {
    "type": "ec2",
    "minNumWorkers": 2,
    "maxNumWorkers": 12,
    "envConfig": {
      "availabilityZone": "us-east-1a",
      "nodeData": {
        "amiId": "${AMI}",
        "instanceType": "c3.8xlarge",
        "minInstances": 1,
        "maxInstances": 1,
        "securityGroupIds": ["${IDs}"],
        "keyName": "${KEY_NAME}"
      },
      "userData": {
        "impl": "string",
        "data": "${SCRIPT_COMMAND}",
        "versionReplacementString": ":VERSION:",
        "version": null
      }
    }
  }
}

下面详细介绍以下这些参数。

接下来首先介绍selectStrategy的几种类型：

• equalDistribution：当任务开始运行时，任务会分配到有最多空闲slot的middle manager。如果想平均分布task，可以使用这个策略。
• equalDistributionWithCategorySpec：是equalDistribution的变种。支持workerCategorySpec而不是affinityConfig（workerCategorySpec、affinityConfig下面将具体介绍）。通过指定workerCategorySpec，能基于任务类型和数据源将任务分配到不同目录的middle manager上。这个策略不能使用自动扩容。
• fillCapacity：当任务开始运行时，任务会分配到现在运行任务最多的worker。当自动扩容时使用这个是有用的，因为你可以把任务尽量放在一些worker上直到放满，保持其他worker空闲能被终止。注意如果druid.indexer.runner.pendingTasksRunnerNumThreads的值N大于1，则这个策略会同时填充N个middle manager。
• fillCapacityWithCategorySpec：是fillCapacity的变体。支持workerCategorySpec而不是affinityConfig。同equalDistributionWithCategorySpec。
• javascript：使用JavaScript函数自定义分配逻辑。

接下来介绍affinityConfig：
以下是一个例子，表示datasource1优先分配到host1:port表示的middle manager和host2:port表示的middle manager，datasource2优先分配到host3:port表示的middle manager：

"affinityConfig": {
      "affinity": {
        "datasource1": ["host1:port", "host2:port"],
        "datasource2": ["host3:port"]
      }
}

接下来介绍WorkerCategorySpec：
以下是一个例子，表示对于index_kafka类型的任务，如果数据源是ds1，则分配到c2目录里的middle manager，如果数据源不是ds1，则按照默认目录分配到c1目录：

"workerCategorySpec": {
      "strong": false,
      "categoryMap": {
        "index_kafka": {
           "defaultCategory": "c1",
           "categoryAffinity": {
              "ds1": "c2"
           }
        }
      }
 }

CategoryConfig介绍：

Autoscaler介绍：