docker如何搭建Kafka

2023-11-01

1.介绍

Kafka是一个分布式流处理平台,用于高吞吐量、低延迟的数据传输和处理。一般是用做分布式系统的消息中间件。

2.前提概要

阅读本章博客之前,你至少需要满足以下条件:

  • 电脑已经安装过docker
  • 已经使用docker搭建了zookeeper (PS:如果没搭建过,可以参考这篇博客 docker如何搭建zookeeper)

3.Kafka如何搭建

1.拉取镜像

docker pull wurstmeister/kafka
命令/单词 作用
docker Docker 是一个开源的应用容器引擎,可以帮助开发者打包、发布和运行应用程序。(需要提前安装)
pull 该命令从 Docker 镜像仓库中拉取指定的镜像。
wurstmeister/kafka 官方的kafka镜像

2.运行容器

docker run -d --name kafka -p 9092:9092 --env KAFKA_ADVERTISED_HOST_NAME=10.83.239.211 --env KAFKA_ZOOKEEPER_CONNECT=10.83.239.211:2181 --env KAFKA_CREATE_TOPICS="LOG_TOPIC,ORDER_TOP" wurstmeister/kafka
命令部分 说明
docker run 运行 Docker 容器
-d 后台运行容器(如果前台启动,窗口关闭就没了)
–name kafka 容器名称为 kafka
-p 9092:9092 将容器内部的 9092 端口映射到主机的 9092 端口
–env KAFKA_ADVERTISED_HOST_NAME=10.83.239.211 设置 Kafka 的 advertised.host.name 属性为 10.83.239.211(这个要改成当前docker所在机器的IP)
–env KAFKA_ZOOKEEPER_CONNECT=10.83.239.211:2181 设置 Kafka 的 zookeeper.connect 属性为 10.83.239.211:2181(这个要改成 zookeeper的IP和端口,一般本地开发和上面放在同一个容器)
–env KAFKA_CREATE_TOPICS=“LOG_TOPIC,ORDER_TOP” 创建两个 Kafka 主题,分别为 LOG_TOPIC 和 ORDER_TOP (主题自己定,可以逗号隔开)
wurstmeister/kafka 使用 wurstmeister/kafka 镜像创建容器

至此,Kafka就已经搭建完毕啦。

3.测试创建新主题

docker exec -it kafka /opt/kafka/bin/kafka-topics.sh --create --zookeeper 10.83.239.211:2181 --replication-factor 1 --partitions 1 --topic test

这将在Kafka中创建一个名为“test”的TOPIC。

4.测试发送消息到Kafka的指定TOPIC

可以使用以下命令向该主题发送消息:

docker exec -it kafka /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

PS: 这里可以用localhost,是因为是在容器内部使用的

5.测试读取Kafka指定TOPIC的消息

当显示左箭头的时候,可以输入消息,然后回车就可以发送消息

docker exec -it kafka /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

4.小结

通过本章博客,我们大致了解了如下内容:

  • 如何搭建Kafka
  • 简单新建TOPIC
  • 如何往消息队列里加消息
  • 如何读取消息队列里的消息
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

docker如何搭建Kafka 的相关文章

随机推荐

  • 【华为OD机试c++】解压报文【2023 B卷

    题目描述 为了提升数据传输的效率 会对传输的报文进行压缩处理 输入一个压缩后的报文 请返回它解压后的原始报文 压缩规则 n str 表示方括号内部的 str 正好重复 n 次 注意 n 为正整数 0 lt n lt 100 str只包含小写
  • 猿创征文

    文章目录 1 KingbaseES是什么数据库 2 KingbaseES数据库产品优势 3 KingbaseES安装包下载地址 4 KingbaseES数据库安装 1 windows安装KingbaseES 1 图形化界面安装 2 命令行安
  • Java构造方法为private

    class A public String name 构造函数限定为private 不可以直接创建对象 private A 需要创建对象实例时 调用此函数 public static A Instance return new A clas
  • H.323协议分析

    感谢原作者 http blog csdn net bripengandre article details 2230087 整理记录 版本 时间 内容 整理人 V1 0 2008 03 28 H 323协议分析初稿 彭令鹏 H 323协议分
  • Vue 新手学习笔记:vue-element-admin 之入门开发

    说实话都是逼出来的 对于前端没干过ES6都不会的人 vue视频也就看了基础的一些 但没办法 接下来做微服务架构 前端就用 vue 这块你负责 说多了都是泪 脚手架框架布了都没看过 干就完事 不过好在做好了 这里写下给和我一样苦逼的同学能快点
  • 写技术文的三个原则是什么?

    本文章原创首发于公众号 编程三分钟 我关注了很多技术类的公众号 看着大佬的公众号几千的阅读量 甚是羡慕 这直接导致了我没有心情减肥 甚至多吃了一个鸡腿 要怎么才能写出一篇好技术文章 让读到的人感到身心舒畅 快速Get到想说的点 我想破了脑袋
  • Jetpack架构组件库:DataStore

    Jetpack DataStore 是一种经过改进的新数据存储解决方案 旨在取代 SharedPreferences DataStore 基于 Kotlin 协程和 Flow 构建而成 提供以下两种不同的实现 Preferences Dat
  • 【解决方法】chrome和edge浏览器出现“你的连接不是专用连接“的问题

    原创作者 运维工程师 林琪 1 问题描述 chrome和edge浏览器访问一些证书不受信任的网页会出现 你的连接不是专用连接 的问题 无法继续访问网页 2 解决方法 在上图这个问题界面的时候 输入法在英文状态下 输入 thisisunsaf
  • ByteBuffer之HeapByteBuffer与DirectByteBuffer

    HeapByteBuffer HeapByteBuffer 是写在jvm堆上面的一个buffer 底层的本质是一个数组 用类封装维护了很多的索引 limit position capacity等 在实际操作时 会把jvm堆上数据拷贝出来到系
  • WSL2+Ubuntu18.04+gnome图形界面+docker搭建开发环境

    最近换了电脑 系统更新到2004 捣腾了一下WSL2 尝试把开发环境搭建在WSL2里面 看了很多教程 基本都是Xfce的 但是更喜欢Gnome 所以就用Ubuntu主流的Gnome作为桌面GUI WSL2的安装 WSL 2的安装因为微软提供
  • VS2015和QT代码快捷键

    VS2015 代码自动对齐快捷键 1 Ctrl A 2 Ctrl K 3 Ctrl F QT 代码自动对齐快捷键 1 Ctrl A 2 Ctrl I
  • 专利交底书

    qq
  • Java在Quant应用_BigQuant人工智能量化平台使用

    BigQuant人工智能量化平台使用 BigQuant人工智能量化平台使用 Author By Runsen 在2020年一月初 也是我大三上的寒假 我开始写书 为什么呢 因为化工原理和化工热力学挂了 我需要重拾自己的自信 对于一个大学三年
  • 今天和朋友们分享如何巧用MACD指标进行恒指多空方向判断

    说起MACD指标 我们无论是做股票还是期货的朋友其实都有了解 之前也有相关文章专做分析过此指标的一些妙用 今天受一些朋友建议 均已将带领大家重温 MACD 指标课堂 今日课题主要同大家讲解一下 MACD柱线与0轴位置切换 以及MACD变化过
  • 渗透测试技术题(面试、笔试)

    本篇文章主要涉及一下几个方面 java view plain copy 对称加密非对称加密 什么是同源策略 cookie存在哪里 可以打开吗 xss如何盗取cookie tcp udp的区别及tcp三次握手 syn攻击 证书要考哪些 DVW
  • python13个小题

    python小题 1 从键盘输入3个数 求最大值 2 买彩票 如果体彩中了500万 我买车 资助希望工程 去欧洲旅游 否则我买下一期体彩 继续烧高香 写程序描述 3 会员购物时 根据积分的不同享受不同的折扣 计算会员购物时获得的折扣 小于2
  • Linux PXE详解

    今天我们继续给大家介绍Linux相关内容 本文主要内容是PXE系统的部署 并且通过实战 完成PXE环境的实战部署 由于PXE环境牵扯到的服务众多 因此 您需要了解FTP DHCP等服务的原理 安装 部署等知识 如果您对此还存在困惑 欢迎查阅
  • Jtti:Linux大文件重定向和管道的效率哪个更高

    在Linux中 重定向和管道是不同的工具 用于不同的任务 它们的效率也取决于具体的使用情况 让我们比较一下它们的特点和效率 重定向 特点 重定向是将命令的输出写入文件或设备的过程 它通常用于将命令的输出保存到文件中或将输入从文件中读取 重定
  • 交易系统模块划分,模块拆分,设计,重构实战.状态

    父文章 技术设计金字塔 包含了实体设计文章 相关文章 如何梳理和重构 含复杂性度量 相关文章 代码级 如何写可维护的代码 万物ddd ddd primitive 封装 对象来实现可维护代码 个人渣记录仅为自己搜索用的博客 CSDN博客 dd
  • docker如何搭建Kafka

    1 介绍 Kafka是一个分布式流处理平台 用于高吞吐量 低延迟的数据传输和处理 一般是用做分布式系统的消息中间件 2 前提概要 阅读本章博客之前 你至少需要满足以下条件 电脑已经安装过docker 已经使用docker搭建了zookeep