分类自动化运维下的文章

2025-12-02

kafka常用命令 topic 相关说明：红色的是必需要指定的参数使用bin/kafka-topics.sh 可查看所有的参数信息参数描述--bootstrap-server <String: server connect to> 连接kafka broker主机名称和端口号--topic <String: topic> 操作的topic名称--create创建主题--delete删除主题--alter修改主题--list查看所有主题--describe查看主题详细描述--partitions <Integer: # of partitions>设置分区数--replication-factor <Integer: replication factor>设置分区副本--config <String: name=value>更新系统默认的配置root@kf1:/opt/kafka# bin/kafka-topics.sh --bootstrap-server kf1:9092 --describe --topic first Topic: first TopicId: o4AxZZfwQhG-QR38nHUGxQ PartitionCount: 3 ReplicationFactor: 3 Configs: min.insync.replicas=1,segment.bytes=1073741824 Topic: first Partition: 0 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3 Elr: LastKnownElr: Topic: first Partition: 1 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1 Elr: LastKnownElr: Topic: first Partition: 2 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2 Elr: LastKnownElr: Topic: 主题名称TopicId: 主题IDPartitionCount: 分区数量ReplicationFactor: 副本数量Configs: min.insync.replicas=1,segment.bytes=1073741824Topic:Partition: 分区IDLeader: 副本的leaderReplicas: 副本存储位置Isr: 连接的副本LastKnownElr

2025年12月02日
2 阅读
0 评论
0 点赞

2025-11-27

2025年11月27日
2 阅读
0 评论
0 点赞

2025-11-25

zookeeper安装 ZooKeeper 是一个分布式协调服务，常用于管理配置、命名和同步服务。长期以来，Kafka 使用 ZooKeeper 负责管理集群元数据、控制器选举和消费者组协调等任务理，包括主题、分区信息、ACL（访问控制列表）等。ZooKeeper 为 Kafka 提供了选主（leader election）、集群成员管理等核心功能，为 Kafka提供了一个可靠的分布式协调服务，使得 Kafka能够在多个节点之间进行有效的通信和管理。然而，随着 Kafka的发展，其对 ZooKeeper的依赖逐渐显露出一些问题，这些问题也是下面 Kafka去除 Zookeeper的原因。kafka 2.8+ 为什么要移除zookeeper组件呢?kafka 4.0+版本彻底移除了zookeeper组件1.复杂性增加ZooKeeper 是独立于 Kafka 的外部组件，需要单独部署和维护，因此，使用 ZooKeeper 使得 Kafka的运维复杂度大幅提升。运维团队必须同时管理两个分布式系统（Kafka和 ZooKeeper），这不仅增加了管理成本，也要求运维人员具备更高的技术能力。2. 性能瓶颈作为一个协调服务，ZooKeeper 并非专门为高负载场景设计，因此，随着集群规模扩大，ZooKeeper在处理元数据时的性能问题日益突出。例如，当分区数量增加时，ZooKeeper需要存储更多的信息，这导致了监听延迟增加，从而影响Kafka的整体性能。在高负载情况下，ZooKeeper可能成为系统的瓶颈，限制了Kafka的扩展能力。3. 一致性问题Kafka 内部的分布式一致性模型与 ZooKeeper 的一致性模型有所不同。由于 ZooKeeper和 Kafka控制器之间的数据同步机制不够高效，可能导致状态不一致，特别是在处理集群扩展或不可用情景时，这种不一致性会影响消息传递的可靠性和系统稳定性。4.发展自己的生态Kafka 抛弃 ZooKeeper，最核心的原因：Kafka生态强大了，需要自立门户，这样就不会被别人卡脖子。纵观国内外，有很多这样鲜活的例子，当自己弱小时，会先选择使用别家的产品，当自己羽翼丰满时，再选择自建完善自己的生态圈。但是一些旧版的kafka仍需配置ZooKeeper服务，因为Kafka依赖ZooKeeper进行集群协调、Broker注册、Topic管理等操作。安装ZooKeeperJava环境ZooKeeper是基于Java开发的，因此在部署时需要确保机器上有Java运行环境（JRE/JDK）。检查当前 Java 环境首先确认系统是否已安装 Java，以及版本是否符合要求java -version openjdk version "25.0.1" 2025-10-21 OpenJDK Runtime Environment (build 25.0.1+8-Ubuntu-124.04) OpenJDK 64-Bit Server VM (build 25.0.1+8-Ubuntu-124.04, mixed mode, sharing)若提示 command not found，说明未安装 Java，需继续安装java -version 找不到命令 “java”，但可以通过以下软件包安装它： apt install openjdk-17-jre-headless # version 17.0.17+10-1~24.04, or apt install openjdk-21-jre-headless # version 21.0.9+10-1~24.04 apt install default-jre # version 2:1.17-75 apt install openjdk-19-jre-headless # version 19.0.2+7-4 apt install openjdk-20-jre-headless # version 20.0.2+9-1 apt install openjdk-22-jre-headless # version 22~22ea-1 apt install openjdk-11-jre-headless # version 11.0.29+7-1ubuntu1~24.04 apt install openjdk-25-jre-headless # version 25.0.1+8-1~24.04 apt install openjdk-8-jre-headless # version 8u472-ga-1~24.04 root@zookeeper1:~/zookeeper# apt install openjdk-11-jre-headless 正在读取软件包列表... 完成正在分析软件包的依赖关系树... 完成正在读取状态信息... 完成将会同时安装下列软件： alsa-topology-conf alsa-ucm-conf ca-certificates-java java-common libasound2-data libasound2t64 建议安装： default-jre alsa-utils libasound2-plugins libnss-mdns fonts-dejavu-extra fonts-ipafont-gothic fonts-ipafont-mincho fonts-wqy-microhei | fonts-wqy-zenhei fonts-indic下载并解压ZooKeeper点击 ZooKeeper下载列表，下载最新版本的安装包。wget -O zookeeper-3.9.4-bin.tar.gz https://dlcdn.apache.org/zookeeper/zookeeper-3.9.4/apache-zookeeper-3.9.4-bin.tar.gz tar -xf zookeeper-3.9.4-bin.tar.gz mv apache-zookeeper-3.9.4-bin/ /opt/zookeeper注意:集群模式至少需要三台服务器，强烈建议拥有奇数台服务器。如果你只有两台服务器，那么如果其中一台故障，机器数量不足以形成多数法定人数。两台服务器本质上比单台服务器稳定性差，因为存在两个单点故障。配置所有的服务器都拥有相同的配置文件。在ZooKeeper目录下的conf目录中，有个配置文件的示例，拷贝这个文件并修改其中的部分内容cp conf/zoo_sample.cfg conf/zoo.cfg修改项：tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/zookeeper/data dataLogDir=/var/zookeeper/logs clientPort=2181 server.1=192.168.88.31:2888:3888 server.2=192.168.88.32:2888:3888 server.3=192.168.88.33:2888:3888说明：tickTime：ZooKeeper 使用的基本时间单位（毫秒）。它用于读取心跳，最小会话超时时间是tickTime的两倍。initLimit：用来限制法定人数服务器连接领导者所需时间的超时syncLimit：限制服务器与领导者的过时距离dataDir：存储内存数据库快照的位置，除非另有说明，存储数据库更新的事务日志。dataLogDir：存储日志文件的位置clientPort：用于监听客户端连接的端口server.1=192.168.88.31:2888:3888 集群地址，“2888”和“3888”。对等节点使用前一个端口连接其他节点。这种连接是必要的，以便对等端能够通信，例如达成更新顺序的一致。更具体地说，ZooKeeper服务器利用该端口将追随者连接到领导者。当出现新的领导者时，跟随者会通过该端口与该领导者开启TCP连接。由于默认领导人选举也使用TCP，我们目前要求领导人选举需要另一个端口。这是服务器条目的第二个端口。确保dataDir和dataLogDir目录存在，如果不存在就创建它们。配置myid 在data/目录下，按集群顺序依次创建myid文件并写入id信息。#88.31机器上 echo 1 >myid #88.32机器上 echo 2 >myid #88.33机器上 echo 3 >myid开启服务bin/zkServer.sh start /usr/bin/java ZooKeeper JMX enabled by default Using config: /root/zookeeper/bin/../conf/zoo.cfg Starting zookeeper ... STARTED root@zookeeper2:~/zookeeper# bin/zkServer.sh status /usr/bin/java ZooKeeper JMX enabled by default Using config: /root/zookeeper/bin/../conf/zoo.cfg Client port found: 2181. Client address: localhost. Client SSL: false. Mode: leader 配置开机启动（service服务）vim /etc/systemd/system/zookeeper.service [Unit] Description=Apache ZooKeeper Service Documentation=https://zookeeper.apache.org After=network.target [Service] Type=forking ExecStart=/root/zookeeper/bin/zkServer.sh start ExecStop=/root/zookeeper/bin/zkServer.sh stop ExecReload=/root/zookeeper/bin/zkServer.sh restart Restart=on-failure [Install] WantedBy=multi-user.target systemctl daemon-reload systemctl enable zookeeper --now

2025年11月25日
2 阅读
0 评论
0 点赞

2025-09-09

服务器故障的一般排查流程当服务出现故障时，比如服务不可达，无法远程访问，应用程序报错等故障时，常用的排查思路整理如下。确定故障和检查硬件当发现服务器出现故障时，应详细记录故障发生的具体情况。包括：故障发生时间，故障发生规律，故障是否具有规律性等故障的具体表现，如服务器无法连接，应用程序报错，端口未开放等故障发生前是否有特殊操作，如系统更新，软件安装，修改配置等如果使用的不是云服务器而是自有硬件，还需要检查硬件设置状态查看服务器电源指示灯是否正常，硬盘指示灯是否有异常闪烁，cpu风扇是否正常运转，是否有异响或异味。检查交换机、路由器等常用网络设备是否存在异常，检查网络设备的指示灯状态，确认网线连接是否牢固。若服务器配备硬件监控系统，登录查看硬件健康状态报告，排查是否有硬盘故障，内存报错，电源问题等。验证是否存在网络问题本地网络测试：在服务器本地使用ping命令测试与网关、DNS服务器的连通性，检查防火墙。远程连接测试：从客户端尝试ping服务器ip，使用traceroute命令追踪路由，判断故障节点。端口状态检查：在服务器上使用netstat或者ss命令查看端口的监听状态，确认应用程序所需端口是否正常开放。查看、分析日志查看系统生成的各种日志文件，定位故障发生的原因，比如/var/log/messages（系统通用日志），/var/log/auth.log（认证相关日志）等，使用grep筛选关键词（如error、fail）快速定位问题。针对服务器上运行的应用程序（如web服务，数据库。中间件等），查看其专属日志。如，web服务，Nginx日志通常在/var/log/nginx/access.log和error.log，apache日志在/var/log/apache2/目录下。或者去配置文件中查看日志路径，在对日志文件进行排查。数据库，mysql日志包括错误日志，慢查询日志等。尝试重启服务或设备重启服务：若定位到某一服务异常，先尝试重启该服务观察是否恢复正常。重启服务器：排除掉硬件故障风险后，可以尝试重启服务器，在重新启动服务来观察是否恢复正常。（需提前通知相关用户，避免数据丢失）。

2025年09月09日
19 阅读
0 评论
0 点赞

2025-09-09

解决磁盘空间不足报错的常用方法在收到磁盘空间不足的警报时，在不能对存储空间扩容的情况下，通常可以使用以下两种方式解决。方法一使用 df -h 命令查看磁盘空间的使用情况，确定哪个目录占用的磁盘空间过高；确定目录后，使用 du -h 命令进行逐级定位，找到占用空间最大的大文件；查看文件内容，确认是否需要保留。如果保留就压缩导出，不保留就直接删除。方法二使用find命令查找目录下的大文件，如大于500M的文件，然后根据实际情况判断是否需要删除或导出。注意：使用df -h命令有时并不能发现大文件，可能的原因是文件已被删除，但是进程仍然在调用这个文件。此时可以通过 lsof | grep delete 命令找到占用的进程，把这个进程kill掉然后重启服务即可。

2025年09月09日
11 阅读
0 评论
0 点赞