Erhalten Sie keine Nachricht mit konfluenten Kafka einfachen Produzenten-/Konsumentenbeispielen?

Question

Ich run kafka_2.11-0.10.1.1 mit confluent-kafka-0.9.2 (Master-Zweig) Python-Bindungen, die librdkafka-0.9.2 verwendet. Meine Maschine läuft ubuntu-16.04 x86_64. Ich lasse zookeeper-3.4.8-1 auf Port 2181 laufen. Ich betreibe konfluenten Produzent Beispiel wie folgt:

$ cd confluent-kafka-python/examples 
$ python producer.py localhost:9095 confluent-01 
first message 
2nd msg 

und die Verbraucher:

$ python consumer.py localhost:9095 confluentgroup confluent-01 

Alles läuft lokal auf meinem Rechner, die keine Firewall läuft.

Bemerkungen:

• das Thema erfolgreich auf Zookeeper erstellt
• der Broker erfolgreich die Produzenten Nachrichten empfängt:
• die Verbraucher setzt folgende conf {'bootstrap.servers': broker, 'group.id': group, 'session.timeout.ms': 6000, 'default.topic.config': {'auto.offset.reset': 'smallest'}, 'api.version.request': True }
• am Anfang producer/consumer funktionieren für einige Zeit, bis ich Receive failed: Disconnected auf der Herstellerseite bekomme. Exerpt:

---

$ python producer.py localhost:9095 confluent-02 
asd 
% Message delivered to confluent-02 [0] 
1234123 
890890 
% Message delivered to confluent-02 [0] 
%3|1485791262.420|FAIL|rdkafka#producer-1| [thrd:obscura.ax.example.com:9095/3]: obscura.ax.example.com:9095/3: Receive failed: Disconnected 

Problem: Ich habe nicht alles auf der Verbraucherseite nach einer Weile

Fragen:

1. Was mache ich falsch?
2. Wie kann ich überprüfen, ob die Producer-Nachrichten auf der Brokerseite empfangen wurden? Die Producer-Nachrichten werden ordnungsgemäß auf der Brokerseite empfangen.
3. Wie kann ich die Verbraucherseite debuggen? Ich habe 'debug': "cgrp, topic, fetch" zum Verbraucher conf hinzugefügt. Wo kann ich die Protokolle lesen?

Answer 1

Ich habe die Dinge schließlich funktionieren. Anfangs lief ich die confluent-kafka tutorial, die:

• nicht trap ctrl+c SIGINT Signal,
• schließt nicht aus, eine Zeit während in poll()

im Consumer-Code.Also ich musste ctrl+z dann kill %1 es auf meinem linux machine. Ich glaube, diese Terminierung hat den Socket nicht geschlossen, der für einige Zeit offen blieb (TIME_WAIT). Dann, als ich den Verbraucher neu startete, zog er Müll von der älteren Steckdose und blieb stecken.

Ich habe try: [...] except KeyboardInterrupt: consumer.close() hinzugefügt, um die ctrl+c zu fangen und den Sockel zu schließen. Und das Problem nicht länger angegangen.

Ich hoffe, dass dies jemand in der Zukunft helfen wird.

Answer 2

Ich habe zwei Vorschläge:

1) versuchen, die Option --from-beginnend an den Verbraucher Befehl

2) der Standardanschluss für Makler hinzuzufügen ist 9092 so den richtigen Anschluss überprüfen Verwenden Sie

Hoffe das hilft.