搭建要求：
1.CDH环境已经搭建成功，在CDH上搭建kafka。要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper
2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中
搭建步骤
1. 主机操作
改动hosts
10.10.0.11 s1-1
10.10.0.12 s1-2
10.10.0.13 s1-3
10.10.0.14 s1-4
10.10.0.15 s2-1
10.10.0.16 s2-2
10.10.0.17 s2-3
10.10.0.18 s2-4
10.10.0.19 s3-1
10.10.0.20 s3-2
10.10.0.21 s3-3
10.10.0.22 s3-4
10.10.0.23 s4-1
10.10.0.24 s4-2
2. zookeeper操作(13/17/21server)
1.cd /usr/lib/zookeeper/conf/
2.vi zoo.cfg
3.加入下面内容
#kafka server
10.10.0.12 s1-2
10.10.0.16 s2-2
10.10.0.20 s3-2
# zookeeper cluster
server.1=s1-3:2888:3888
server.2=s2-3:2888:3888
server.3=s3-3:2888:3888
4.每台机器上生成myid:
13:
$ echo "1" >/var/lib/zookeeper/myid
17:
$ echo "2" >/var/lib/zookeeper/myid
21:
$ echo "3" >/var/lib/zookeeper/myid
3. kafka操作(12/16/20server)
1.cd /usr/lib/kafka
2.tar -zxvf kafka_2.11-0.8.2.1.tgz
3.cd kafka_2.11-0.8.2.1/config/
4.vi server.properties
broker.id=1,其它两个为2,3
port=9092 其它两个为9093,9094
hostname=10.10.0.12，其它两个为10.10.0.16。10.10.0.20
zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181
4.cdh管理界面重新启动zookeeper
依次关闭yarn。HBase，HDFS。zookeeper，然后反顺序开启
5启动kafka
12/16/20
./bin/kafka-server-start.shconfig/server.properties &
6.測试
1.jps显示有kakka
2. 创建Topic
./bin/kafka-topics.sh –create –zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181 –replication-factor 1 –partitions1 –topic page_visits
3. 查看命令
./bin/kafka-topics.sh –list –zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181
