本文指导您如何在Linux系统上部署Apache Kafka。 我们将涵盖环境准备、Java安装、ZooKeeper集群配置以及Kafka的安装和测试。
一、准备工作
操作系统: 选择合适的Linux发行版，例如CentOS或Ubuntu。服务器: 确定用于部署Kafka的服务器IP地址列表 (至少一台用于单节点部署，多台用于集群部署)。软件包: 下载Java JDK、ZooKeeper和Kafka的安装包。 确保版本兼容性。
二、安装Java JDK
根据您的Linux发行版，使用以下命令安装Java 8 JDK (建议使用8，但可根据Kafka版本调整):
Ubuntu/Debian:
sudo apt updatesudo apt install openjdk-8-jdk
CentOS/RHEL:
sudo yum install java-1.8.0-openjdk
配置环境变量：编辑/etc/profile文件，添加以下内容，将/path/to/java替换为实际Java安装路径：
export JAVA_HOME=/path/to/javaexport PATH=$PATH:$JAVA_HOME/bin
运行 source /etc/profile 使配置生效。 使用 java -version 验证安装。
三、部署ZooKeeper集群
解压ZooKeeper: 将ZooKeeper安装包解压到 /opt 目录 (或您选择的目录):
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt
配置环境变量: 编辑/etc/profile，添加ZooKeeper环境变量，将/path/to/zookeeper替换为实际路径:
export ZOOKEEPER_HOME=/path/to/zookeeperexport PATH=$PATH:$ZOOKEEPER_HOME/bin
运行 source /etc/profile 使配置生效。
配置zoo.cfg: 编辑/opt/zookeeper/conf/zoo.cfg 文件，配置以下参数 (根据您的服务器数量和IP地址调整 server.* 配置):
tickTime=2000initLimit=10syncLimit=5dataDir=/data/zookeeper/data # 创建该目录clientPort=2181maxClientCnxns=60dataLogDir=/data/zookeeper/log # 创建该目录server.1=server01:2888:3888server.2=server02:2888:3888server.3=server03:2888:3888
打开防火墙端口: 允许ZooKeeper使用的端口通过防火墙 (2181, 2888, 3888):
码上飞
码上飞（CodeFlying） 是一款AI自动化开发平台，通过自然语言描述即可自动生成完整应用程序。
138 查看详情
firewall-cmd --add-port=2181/tcp --permanentfirewall-cmd --add-port=2888/tcp --permanentfirewall-cmd --add-port=3888/tcp --permanentfirewall-cmd --reload
创建myid文件: 在每个ZooKeeper服务器的/data/zookeeper/data目录下创建myid文件，文件内容为该服务器的ID (1, 2, 3 …)。
启动ZooKeeper: 在每个ZooKeeper服务器上运行: ./bin/zkServer.sh start
四、安装和配置Kafka
解压Kafka: 将Kafka安装包解压到 /opt 目录:
tar -zxvf kafka_2.12-3.5.2.tgz -C /opt
配置server.properties: 编辑/opt/kafka/config/server.properties 文件，配置以下参数 (调整 broker.id 和 zookeeper.connect 以匹配您的环境):
broker.id=0port=9092host.name=localhostlog.dirs=/opt/kafka/kafka_2.12-3.5.2/logs # 创建该目录zookeeper.connect=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181 # 替换为ZooKeeper服务器地址
启动Kafka: 运行 ./bin/kafka-server-start.sh config/server.properties
五、创建Topic和测试
创建Topic: 使用以下命令创建一个名为 test 的Topic:
./bin/kafka-topics.sh --create --zookeeper zookeeper1:2181 --replication-factor 1 --partitions 1 --topic test``` (将 `zookeeper1:2181` 替换为ZooKeeper连接字符串)
列出Topic: 使用 ./bin/kafka-topics.sh --zookeeper zookeeper1:2181 --list 查看已创建的Topic。
生产者测试: 在一个终端运行生产者:
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费者测试: 在另一个终端运行消费者:
./bin/kafka-console-consumer.sh --zookeeper zookeeper1:2181 --topic test --from-beginning
完成以上步骤后，您已在Linux上成功部署Kafka。 请记住将占位符替换为您的实际路径和IP地址。 对于集群部署，请重复步骤三和四，并在 server.properties 和 zoo.cfg 中正确配置所有服务器。
以上就是Kafka在Linux上的部署步骤是什么的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/542163.html
微信扫一扫 
支付宝扫一扫 
