kafkalinux
A. kafka必須在linux下嗎
2.解壓下載的kafka
tar -xzf kafka_2.10-0.8.2.2.tgz
cd kafka_2.10-0.8.2.2
3. 啟動服務
3.1 啟動zookeeper
啟動zk有兩種方式，第一種是使用kafka自己帶的一個zk。
bin/zookeeper-server-start.sh config/zookeeper.properties
&
另一種是使用其它的zookeeper，可以位於本機也可以位於其它地址。這種情況需要修改config下面的sercer.properties裡面的zookeeper地址
。例如zookeeper.connect=10.202.4.179:2181
3.2 啟動 kafka
bin/kafka-server-start.sh config/server.properties
4.創建topic
bin/kafka-topics.sh --create --zookeeper 10.202.4.179:2181 --replication-factor 1 --partitions 1 --topic test
創建一個名為test的topic，只有一個副本，一個分區。
通過list命令查看剛剛創建的topic
bin/kafka-topics.sh -list -zookeeper 10.202.4.179:2181
5.啟動procer並發送消息啟動procer
bin/kafka-console-procer.sh --broker-list localhost:9092 --topic test
啟動之後就可以發送消息了
比如
test
hello boy
按Ctrl+C退出發送消息
6.啟動consumer
bin/kafka-console-consumer.sh --zookeeper 10.202.4.179:2181 --topic test --from-beginning
啟動consumer之後就可以在console中看到procer發送的消息了
可以開啟兩個終端，一個發送消息，一個接受消息。
B. kafka window和linux安裝包一樣嗎
2.解壓下載的kafkatar -xzf kafka_2.10-0.8.2.2.tgz
cd kafka_2.10-0.8.2.2
3. 啟動服務
3.1 啟動zookeeper
啟動zk有兩種方式，第一種是使用kafka自己帶的一個zk。
bin/zookeeper-server-start.sh config/zookeeper.properties
&
另一種是使用其它的zookeeper，可以位於本機也可以位於其它地址。這種情況需要修改config下面的sercer.properties裡面的zookeeper地址
。例如zookeeper.connect=10.202.4.179:2181
3.2 啟動 kafka
bin/kafka-server-start.sh config/server.properties
4.創建topic
bin/kafka-topics.sh --create --zookeeper 10.202.4.179:2181 --replication-factor 1 --partitions 1 --topic test
創建一個名為test的topic，只有一個副本，一個分區。
通過list命令查看剛剛創建的topic
bin/kafka-topics.sh -list -zookeeper 10.202.4.179:2181
5.啟動procer並發送消息啟動procer
bin/kafka-console-procer.sh --broker-list localhost:9092 --topic test
啟動之後就可以發送消息了
比如
test
hello boy
按Ctrl+C退出發送消息
6.啟動consumer
bin/kafka-console-consumer.sh --zookeeper 10.202.4.179:2181 --topic test --from-beginning
啟動consumer之後就可以在console中看到procer發送的消息了
可以開啟兩個終端，一個發送消息，一個接受消息。
C. kafka在linux下面創建主題testlog成功了，但隨後創建生產者卻沒有成
開2個shell窗口，一個消息生產者，一個消息消費者，生產者發送消息，消費者接收消息
D. linux下librdkafka庫怎麼使用
可以放在當前目錄下，但是要設置一下
庫文件
的路徑：
LD_LIBRARY_PATH
=./:/usr/local/pet20/lib:/lib/:/usr/local/lib
export
LD_LIBRARY_PATH
這樣，在調用的時候就會自動從當前目錄找。
如果是顯式調用則不用，只要在程序里指定.so的文件路徑就可以了。所以放在當前目錄下也是沒問題的。
E. linux 怎樣查看kafka的某 topic數據
1、創建一個需要增加備份因子的topic列表的文件，文件格式是json格式的。
注意事項：
Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群來提供實時的消息。
F. linux 怎樣查看kafka的某topic數據
基於0.8.0版本。
##查看topic分布情況kafka-list-topic.sh
bin/kafka-list-topic.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
（列出所有topic的分區情況）
bin/kafka-list-topic.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--topic
test
（查看test的分區情況）
其實kafka-list-topic.sh裡面就一句
exec
$(dirname
$0)/kafka-run-class.sh
kafka.admin.listtopiccommand
$@
實際是通過
kafka-run-class.sh腳本執行的包kafka.admin下面的類
##創建topic
kafka-create-topic.sh
bin/kafka-create-topic.sh
--replica
2
--partition
8
--topic
test
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
創建名為test的topic，
8個分區分別存放數據，數據備份總共2份
bin/kafka-create-topic.sh
--replica
1
--partition
1
--topic
test2
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
結果
topic:
test2
partition:
0
leader:
170
replicas:
170
isr:
170
##重新分配分區kafka-reassign-partitions.sh
這個命令可以分區指定到想要的--broker-list上
bin/kafka-reassign-partitions.sh
--topics-to-move-json-file
topics-to-move.json
--broker-list
"171"
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--execute
cat
topic-to-move.json
{"topics":
[{"topic":
"test2"}],
"version":1
}
##為topic增加
partition數目kafka-add-partitions.sh
bin/kafka-add-partitions.sh
--topic
test
--partition
2
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
（為topic
test增加2個分區）
##控制台接收消息
bin/kafka-console-consumer.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--from-beginning
--topic
test
##控制台發送消息
bin/kafka-console-procer.sh
--broker-list
192.168.197.170:9092,192.168.197.171:
9092
--topic
test
##手動均衡topic,
kafka-preferred-replica-election.sh
bin/kafka-preferred-replica-election.sh
--zookeeper
192.168.197.170:2181,192.168.197.171:2181
--path-to-json-file
preferred-click.json
cat
preferred-click.json
{
"partitions":
[
{"topic":
"click",
"partition":
0},
{"topic":
"click",
"partition":
1},
{"topic":
"click",
"partition":
2},
{"topic":
"click",
"partition":
3},
{"topic":
"click",
"partition":
4},
{"topic":
"click",
"partition":
5},
{"topic":
"click",
"partition":
6},
{"topic":
"click",
"partition":
7},
{"topic":
"play",
"partition":
0},
{"topic":
"play",
"partition":
1},
{"topic":
"play",
"partition":
2},
{"topic":
"play",
"partition":
3},
{"topic":
"play",
"partition":
4},
{"topic":
"play",
"partition":
5},
{"topic":
"play",
"partition":
6},
{"topic":
"play",
"partition":
7}
]
}
##刪除topic,慎用，只會刪除zookeeper中的元數據，消息文件須手動刪除
bin/kafka-run-class.sh
kafka.admin.deletetopiccommand
--topic
test666
--zookeeper
192.168.197.170:2181
,192.168.197.171:2181
G. linux kafka怎麼後台運行
2.解壓下載的kafka tar -xzf kafka_2.10-0.8.2.2.tgz cd kafka_2.10-0.8.2.2 3. 啟動服務 3.1
H. linux 安裝kafka需要配置java環境嗎
純java開發的軟體在linux下面也可以應用自如。那麼首先就需要配置好linux下的java環境，具體說來，就是配置jdk環境變數。 介紹在linux下配置jdk環境變數的幾種常用方法。 首先在linux下安裝jdk，如果出現提示許可權不夠(且root下也提示許可權不夠)，...