我可以在 Kafka Broker 所在的同一台机器上运行 Kafka Streams 应用程序吗？

我有一个 Kafka Streams 应用程序，它从几个主题获取数据并连接数据并将其放入另一个主题中。

卡夫卡配置：

5 kafka brokers
Kafka Topics - 15 partitions and 3 replication factor. 

注意：我在运行 Kafka Brokers 的同一台机器上运行 Kafka Streams 应用程序。

每小时消耗/产生几百万条记录。每当我关闭任何卡夫卡经纪人时，它就会进入重新平衡状态，并且需要大约。重新平衡需要 30 分钟甚至更多，而且很多时候它会杀死许多 Kafka Streams 进程。

从技术上讲，可以在与代理相同的服务器上运行 Kafka Streams 应用程序。但不建议这样做。两者都需要共享相同的资源，最终会出现争用。

每当我关闭任何卡夫卡经纪人时，它就会进入重新平衡

不知道为什么会发生这种情况。您使用什么版本的 Kafka 或 Streams API？如果您使用的是 Broker 0.10.1+，我强烈建议您将 Streams 应用程序升级到 0.11（注意，您可以在不升级 Broker 的情况下执行此操作）。

根据您正在分阶段解决的问题的详细信息，StandbyTask might有助于延长重新平衡时间。您可以简单配置参数num.standby.replica = 1启用StandbyTasks.