“不凉的凉白开”的Blog

问题说明 内部gitlab访问时执行git pull 或git commit 等操作出现错误，提示信息 failed to connect to 127.0.0.1 port 7890: Connection refused 明显是使用了系统代理访问导致的失败。 本机偶尔开启代理类软件。但是现在是关闭的。尝试开启并且配置代理过滤也不行。 添加到windows 代理过滤也不行。 关闭代理软件，检查系统代理，全部关闭，还是出现访问时访问的是代理。 使用git 命令，取消全局proxy,还是无效。 12git config --global --unset http.proxygit config --global --unset https.proxy 使用gitbatsh 命令行首先执行 1unset http_proxy 然后执行git相关命令 1git pull 是可以正常执行成功的。也就是说在gitBash 中 的取消代理是可以生效的，其他的没有生效。 解决方式最终检查是用户的系统环境变量中出现了一个 http_proxy 的环境变量，去掉此环境变量一切正常。 ...

kafka 监控Kafka-Eagle 用来监控kafka集群运行情况。 官网: https://www.kafka-eagle.org/ linux 下安装文档 https://www.kafka-eagle.org/articles/docs/installation/linux-macos.html 必要安装环境 需要提前安装jdk 安装mysql 目的是存储对应的监控数据 在mysql 中创建 名字为 ke 的数据库。 修改kafka 启动参数，开启jmx 监。 停止所有的kafka服务。 修改启动脚本 1vim bin/kafka-server-start.sh 123export KAFKA_HEAP_OPTS="-server -Xms1G -Xmx1G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"expo ...

SpringBoot 集成Kafka对应的官网信息： https://spring.io/projects/spring-kafka 通过一些配置可以很方便的将 kafka 与springboot集成。使用spring的template的方式来操作数据。 首先新建一个springboot项目，引入springboot 相关依赖，然后加入一个很重要的 spring-kafka 的依赖。 12345678910111213141516171819202122232425<spring-boot-version>2.6.10</spring-boot-version><dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> &l ...

消费者消费者的消费模式主要有2种模式，推模式和拉模式。 推模式: 由broker主动向消费者推送数据。优点是消费者不用做主要的操作，只要接收就行。缺点是消费者不能自行决定消费速度，可能出现消费能力不足的问题。推送的数据大于能消费的能力上限。 拉模式: 由消费者自定去broker拉取指定的数据。优点是: 消费数据的速度由消费者来控制。缺点是：消费者需要主要去拉取数据，并且可能循环拉取不到数据(没有数据)导致空循环。 消费者的消费流程消费者组: 在创建消费者的时候，必须为消费者设置一个消费者组id。相同消费者组id 的一组消费者 称为是一个消费者组。 不同消费者组的消费是相互独立的，比如两个消费者组 id 分别为 0 1 ，都消费topicA 的数据，不同的组都可以消费一遍相同的数据，是不冲突的。 针对不同的消费者组 都记录了一个消费消息的offset，默认这个offset 维护在 __consumer_offsets topic 中存储。 当topic 有多个分区的时候，有多个消费者组成的消费者组就可以共同消费这部分数据，达到协同的作用。比如有4个分区，有4个消费者组成的组，那么每个消 ...

kafka如何提高吞吐量针对生产者来说，生产生并不是消息直接发送到broker上的，而是在生产者有一个缓冲区 RecordAccumulator ，消息临时存放到缓冲区内，缓冲区的默认大小是 64M ，当满足一定的条件，比如配置的 batch.size ，达到对应的批次大小后，将一次性将缓冲区的数据发送到broker，但是如果长时间达不到批次大小，但是达到了linger.ms 等待时间，也会马上将消息发送给broker。那么可以配置批次大小提高吞吐量,等待时间可以配置10ms，配置合适的额缓冲区大小，再传输过程中也会有网络传输的消耗，可以使用数据压缩算法提高数据传输性能。 针对消费者如果要提交吞吐量，可以增加topic的分区数，使用同一个消费者组内的多个消费者来协同消费消息，一般让消费者数 等于 分区数。如果消费者处理数据很快，但是拉取数据少导致的消费的慢，可以调整 max.poll.records 每次拉取的记录数 和 fetch.max.bytes 拉取的最大字节数 ，提交每次拉取获取的数据量。 kafka 如果保证数据可靠性对于broker 来说，副本数应该设置大于等于2。对于生 ...

brokerzookeeper 中的存储信息 admin 管理相关的节点，目前里面有个删除topic节点，应该是各个节点监听删除事件 brokers brokers 相关的节点 ids 记录了各个 broker的id,及各个节点的id 的相关信息。 seqid topics 节点下保存着各个topic信息和分区信息。 topics/{topicName}/partitions/pid/state 记录了各个分区节点的状态信息。 cluster 集群的相关信息。 config 记录了配置信息，下面有多个节点。 consumers 消费者相关信息 controller {“version”:1,”brokerid”:2,”timestamp”:”1657182918568”} 主要标记了谁是集群的控制者。leader。 isr_change_notification isr改变相关的通知节点 log_dir_event_notification 当某个Broker上 ...

生产者编写生产者代码 引入客户端依赖包 1234567 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>3.0.0</version></dependency> 编写生产者代码 12345678910111213141516171819202122 Properties properties = new Properties();properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"hadoop1:9092,hadoop2:9092,hadoop3:9092");// key value 序列化类properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_C ...

kafak 命令操作在kafak 的 bin目录下 放着所有的启动和管理命令相关的脚本。 topic 管理脚本: kafka-topics.sh 创建 1kafka-topics.sh --bootstrap-server 192.168.1.103:9092 --create --partitions 1 --replication-factor=1 --if-not-exists --topic test_01 create 表示创建topic partitions 分片数量 replication-factor 副本数量 if-not-exists 不存在的时候创建 topic topic名称 查看列表 1kafka-topics.sh --bootstrap-server 192.168.1.103:9092 --list 查看指定topic详细信息 12kafka-topics.sh --bootstrap-server 192.168.1.103:9092 --describe --topic test_01 ...

kafka 的部署zookeeper 集群搭建 准备三台服务器。ip分别为 192.168.1.103 192.168.1.104 192.168.1.105 先下载安装zookeeper 1https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 下载完毕后将zookeeper上传到3台服务器上,并解压 3台都要操作 12/usr/local/software/zookeeper 解压 1tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz 目前zookeeper home目录为 12/usr/local/software/zookeeper/apache-zookeeper-3.6.3-bin 修改配置文件 首先创建数据文件夹 1mkdir /usr/local/software/zookeeper/apache-zookeeper-3.6.3-bin/data {zoo ...

整合Phoenix什么是Phoenix 现有hbase的查询工具有很多如：Hive，Tez，Impala，Shark/Spark，Phoenix等。今天主要说Phoenix。phoenix是一个在hbase上面实现的基于hadoop的OLTP技术，具有低延迟、事务性、可使用sql、提供jdbc接口的特点。 而且phoenix还提供了hbase二级索引的解决方案，丰富了hbase查询的多样性，继承了hbase海量数据快速随机查询的特点。但是在生产环境中，不可以用在OLTP中。在线事务处理的环境中，需要低延迟，而Phoenix在查询HBase时，虽然做了一些优化，但延迟还是不小。所以依然是用在OLAT中，再将结果返回存储下来。 Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。 简单的说hbase直接使用是比较麻烦的，可以像ha ...