Monitor Kafka mit Prometheus und Grafana

Question

Ich habe die folgenden Schritte zur Überwachung von Kafka mit Prometheus und Grafana verfolgt.

JMX-Port mit curl http://localhost:7071/metrics im Terminal nicht geöffnet

wget http://ftp.heanet.ie/mirrors/www.apache.org/dist/kafka/0.10.1.0/kafka_2.11-0.10.1.0.tgz 
tar -xzf kafka_*.tgz 
cd kafka_* 

wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.6/jmx_prometheus_javaagent-0.6.jar 
wget https://raw.githubusercontent.com/prometheus/jmx_exporter/master/example_configs/kafka-0-8-2.yml 

./bin/zookeeper-server-start.sh config/zookeeper.properties & 
KAFKA_OPTS="$KAFKA_OPTS -javaagent:$PWD/jmx_prometheus_javaagent-0.6.jar=7071:$PWD/kafka-0-8-2.yml" 
./bin/kafka-server-start.sh config/server.properties & 

Dann wird das überprüft habe ich bekommen

es berichtet curl: (7) Failed connect to localhost:7071; Connection refused

Zur Zeit habe ich alle meine Ports meinem Netzwerk eröffnet der Server.

während im mit netstat -tupln | grep LISTEN Portnummer 7071 überprüft wurde nicht in der Ausgabe

aufgeführten

Die unten ist der Inhalt des kafkas Verzeichnis:

drwxr-xr-x. 3 root root 4096 Aug 23 12:22 bin 
drwxr-xr-x. 2 root root 4096 Oct 15 2016 config 
-rw-r--r--. 1 root root 20356 Aug 21 10:50 hs_err_pid1496.log 
-rw-r--r--. 1 root root 19432 Aug 21 10:55 hs_err_pid2447.log 
-rw-r--r--. 1 root root 1225418 Feb 5 2016 jmx_prometheus_javaagent-0.6.jar 
-rw-r--r--. 1 root root 2824 Aug 21 10:48 kafka-0-8-2.yml 
drwxr-xr-x. 2 root root 4096 Aug 21 10:48 libs 
-rw-r--r--. 1 root root 28824 Oct 5 2016 LICENSE 
drwxr-xr-x. 2 root root 4096 Oct 11 15:05 logs 
-rw-------. 1 root root 8453 Aug 23 12:08 nohup.out 
-rw-r--r--. 1 root root  336 Oct 5 2016 NOTICE 
drwxr-xr-x. 2 root root  46 Oct 15 2016 site-docs 

kafka wird in 2181-Port und zookeeper läuft auch hier

Answer 1

Wenn es Ihnen nichts ausmacht, den jmx-Port zu öffnen, können Sie auch Folgendes tun:

export JMX_PORT=9999 
export KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.rmi.port=9999' 
./bin/kafka-server-start.sh config/server.properties & 
java -jar jmx_prometheus_httpserver-0.10-jar-with-dependencies.jar 9300 kafka-0-8-2.yaml & 

Die jar-with-dependencies bauen Sie aus der source mit mvn package.