kafka(八)kafka集成springboot

kafka 监控

Kafka-Eagle 用来监控kafka集群运行情况。

官网: https://www.kafka-eagle.org/

linux 下安装文档 https://www.kafka-eagle.org/articles/docs/installation/linux-macos.html

1. 必要安装环境

• 需要提前安装jdk
• 安装mysql 目的是存储对应的监控数据

在mysql 中创建 名字为 ke 的数据库。

2. 修改kafka 启动参数，开启jmx 监。

停止所有的kafka服务。

修改启动脚本

vim bin/kafka-server-start.sh

export KAFKA_HEAP_OPTS="-server -Xms1G -Xmx1G 
-XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"

3. 下载安装包并上传服务器解压

tar -zxvf kafka-eagle-bin-2.1.0.tar.gz

得到如下结构目录

4. 修改配置文件

修改 conf/system-config.properties

修改zk配置信息。

修改mysql配置信息

5. 配置 efak的环境变量

source /etc/profile

6. 启动

到bin 目录下

./ke.sh start

可以执行的相关操作有

ke.sh [start|status|stop|restart|stats] 

通过此管理页面就可以对kafka进行服务监控，也可以手动管理topic，还支持KSQL 使用sql语句来查询kafka中的消息。

出现的错误

错误1:查看错误日志出现时区的错误信息，并且导致数据库中的表未初始化 ，在mysql连接的信息上添加时区

&serverTimezone=UTC