Wie lege ich die Java-Optionen für Kafka fest?

Question

Ich habe mit Kafka zu experimentieren und sah aus der Dokumentation auf der Haupt-Website, die Sie verschiedene Optionen für die Jvm wie Heap-Größe und der Garbage Collector zu setzen sind in der Lage, die es verwendet:

http://kafka.apache.org/documentation.html#java

Was es jedoch nicht sagt, ist wie/wo diese Optionen gesetzt werden. Die Anwendung wird mit einem Verzeichnis/config geliefert, das viele Dateien enthält, die für Konfigurationszwecke verwendet werden, aber keine, die für Java gedacht sind. Es kommt auch mit einem Verzeichnis/bin, das eine Reihe von Skripten für Kafka enthält, aber wiederum nichts, was wirklich angibt, wie Java zu konfigurieren ist.

Also meine Frage ist, wie konfiguriere ich die Java-Optionen, die Kafka verwendet? Ist es durch eine Datei oder gibt es einen anderen Weg?

Answer 1

stimme ich mit der Antwort akzeptiert. Das Ändern eines Skripts im Verzeichnis bin ist sehr unrecommended. Wenn Kafka auf die nächste Version aktualisiert wird, werden durch das Extrahieren der neuen Binärdateien die im Skript vorgenommenen Änderungen überschrieben.

Der bevorzugte Weg sollte sein, die Umgebungsvariable KAFKA_HEAP_OPTS außerhalb des Skripts zu setzen.

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Wenn die var gesetzt wird, bevor Kafka über das Skript starten wird es die var anstelle der Standardwerte in /bin/kafka-server-start.sh definiert verwenden

Answer 2

Sie können Java-Parameter von der Befehlszeile übergeben. Z.B.

java -server -Xms3072m -Xmx3072m -XX:NewSize=256m -XX:MaxNewSize=256m -classpath <long list of jars> foo.class 

Für eine `Produktionsserverkonfiguration Sie eine Eigenschaft

indem Datei oder legen Sie sie in-Code erstellen können

Properties props = new Properties(); 
props.put("serializer.class", "kafka.serializer.StringEncoder"); 

Und dann, sie zu producerConfig liefern

ProducerConfig config = new ProducerConfig(props); 

Answer 3

andere Art und Weise zu tun, Dies geschieht durch Ändern der in /bin/kafka-server-start.sh geschriebenen Informationen:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 

oder in /bin/kafka-run-class.sh:

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true" 

Answer 4

bei kafka-run-classh.sh Blick - kafka verwendet die folgenden Variablen:

$KAFKA_HEAP_OPTS $KAFKA_JVM_PERFORMANCE_OPTS $KAFKA_GC_LOG_OPTS $KAFKA_JMX_OPTS $KAFKA_LOG4J_OPTS Sie können es über laufen: sudo KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" KAFKA_JMX_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=12346 -Dcom.sun.management.jmxremote.rmi.port=12346 -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false" bin/kafka-server-start.sh -daemon config/server.properties