原创

CentOS7安装Kafka


安装环境

  • CentOS7.9
  • JDK8+

1、下载

官方下载(Scala 2.13 - kafka_2.13-3.9.0.tgz (asc, sha512)

2、上传安装包至服务器

上传至 /opt 目录下

3、解压缩包

cd opt
tar -zxvf kafka_2.13-3.9.0.tgz

4、创建kafka安装工作目录

mkdir -p /opt/software/kafka
mkdir -p /opt/software/kafka/zookeeper #zookeeper数据目录
mkdir -p /opt/software/kafka/log #kafka日志
mkdir -p /opt/software/kafka/zookeeper/log #zookeeper日志

5、修改zookeeper配置文件

** 如果有单独安装,此处可以跳过

cd /opt/kafka_2.13-3.9.0/config/
vim zookeeper.properties

# 配置文件修改内容
dataDir=/opt/software/kafka/zookeeper #zookeeper数据目录
dataLogDir=/opt/software/kafka/zookeeper/log #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5

6、修改kafka配置文件

cd /opt/kafka_2.13-3.9.0/config/
vim server.properties

# 配置文件修改内容
broker.id=0 #集群部署时需要用的编号
port=9092 #端口号
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/software/kafka/log #日志存放路径,上面创建的目录
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.retention.check.interval.ms=300000
zookeeper.connect=127.0.0.1:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0
host.name=127.0.0.1 #服务器IP地址,修改为自己的服务器IP
dataDir=/opt/software/kafka/zookeeper
listeners=PLAINTEXT://0.0.0.0:9092 
advertised.listeners=PLAINTEXT://127.0.0.1:9092

7、创建启动脚本

cd /opt/kafka_2.13-3.9.0/
vim start.sh

# 启动脚本内容
##启动zookeeper
/opt/kafka_2.13-3.9.0/bin/zookeeper-server-start.sh /opt/kafka_2.13-3.9.0/config/zookeeper.properties &

##等3秒后执行
sleep 3 

##启动kafka
/opt/kafka_2.13-3.9.0/bin/kafka-server-start.sh /opt/kafka_2.13-3.9.0/config/server.properties &

# 授权启动文件
chmod 777 start.sh

7、创建停止脚本

cd /opt/kafka_2.13-3.9.0/
vim stop.sh

# 停止脚本内容
##关闭zookeeper
/opt/kafka_2.13-3.9.0/bin/zookeeper-server-stop.sh /opt/kafka_2.13-3.9.0/config/zookeeper.properties &

##等3秒后执行
sleep 3

##关闭kafka
/opt/kafka_2.13-3.9.0/bin/kafka-server-stop.sh /opt/kafka_2.13-3.9.0/config/server.properties &

# 授权启动文件
chmod 777 stop.sh

8、测试

#进入kafka目录
cd /opt/kafka_2.13-3.9.0/bin/ 
./kafka-console-producer.sh --broker-list localhost:9092 --topic test #创建生产者 test你要建立的topic名

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test #创建消费者

9、查看

jps

里面有QuorumPeerMain和kafkas说明启动成功了
CentOS
Kafka
  • 作者:一介闲人(联系作者)
  • 发表时间: 2025-03-25 11:23
  • 版权声明:原创-转载需保持署名
  • 公众号转载:请在文末添加本文链接
  • 评论