Kafka集群安装

「编辑」「本文源码」

将kafka解压到/usr/local

#tar -xzvf kafka_2.11-0.9.0.1.tgz  -C /usr/local/

重命名为简单的目录名kafka

#mv /usr/local/kafka_2.11-0.9.0.1/ /usr/local/kafka

kafka所在目录

添加全局环境变量

#vim /etc/profile

export KAFKA_HOME=/usr/local/kafka

export PATH=:$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin

kafka环境变量

使得修改后的环境变量生效

#source /etc/profile

本教程认为已经成功安装Zookeeper集群并成功启动。

本教程启动的ZK集群为:h2m1:2181,h2s1:2181,h2s2:2181。

修改server.properties

设置broker的id，集群中每个broker的id都不能相同

broker.id=1  #集群中每个broker的id，每个节点都不能相同，类似于zookeeper的myid，必须为集群内唯一的正整数作为id

kafka server 配置

日志存储位置配置

log.dirs=/usr/local/kafka/kafka-logs

使用外部ZK集群

zookeeper.connect=h2m1:2181,h2s1:2181,h2s2:2181

将kafka整个目录复制到其他机器,将/etc/profile复制到其他机器并使得环境变量生效。

scp -r ./kafka/ host:/usr/local/
scp /etc/profile host:/etc/
source /etc/profile ## 每台kafka节点机器上执行一遍

修改broker的id

broker.id=2  #修改为当前集群没使用过的整数

集群的每个节点机器都要启动

kafka-server-start.sh  -daemon /usr/local/kafka/config/server.properties

kafka server 启动

停止kafka的一个节点机器

 kafka-server-stop.sh

被停止节点从kafka集群中移除

kafka server 被停止节点

kafka集群未被停止节点重新选择leader

kafka server 未被停止节点

版权声明：本文由在 2016年05月14日发表。本文采用CC BY-NC-SA 4.0许可协议，非商业转载请注明出处，不得用于商业目的。
文章题目及链接：《Kafka集群安装》