Ich habe versucht, einen einfachen Fall der Verwendung von Kafka-Connector zu schreiben. Mein Setup beinhaltet die Verwendung von drei Knoten N1, N2 und N3. N1 ist die Quelle und N2, N3 sind die Sink-Knoten in meinem Fall. Ich schreibe Daten in eine Textdatei (zB input.txt) auf Node N1 und benutze den Standalone kafka connector, um eine Textdatei mit Inhalt ähnlich wie input.txt auf den Knoten N2 und N3 zu sehen.Vollständige Kopie der Eingabedaten mit Kafka connect auf den Sink-Knoten
Ich verwende die REST API, um Änderungen in Themenname, Dateiname und tasks.max vorzunehmen. Während der Experimente konnte ich jedoch keine vollständige Kopie der input.txt auf beiden Knoten (N2 und N3) gleichzeitig erhalten.
Außerdem wurde der Wert von tasks.max auf den Knoten (N2 und N3) für die Senkenkonnektoren eingestellt, um festzulegen, welche Knotendaten gesendet werden.
Meine Frage ist also, ob ich falsch bin, ein solches Ergebnis zu erwarten? Wenn ja, was sollte ich als Ergebnis des Experiments erwarten? Wenn nicht, wie bekomme ich dann mein gewünschtes Ergebnis?
Ich würde jede Hilfe in der Angelegenheit schätzen.
Hallo, Sie fragen nicht so klar ist. Sie sagen, N1 ist ein Quell-Connector. Sie sollten verstehen, dass der Quell-Connector Daten an Kafka und Sink-Konnektoren pushen sollte. N2 und N3 sollten Nachrichten von Kafka bekommen und an Senken wie (Datei, Datenbank) etc. drücken. Warum schreibt Ihr N1 in eine Datei? – Renukaradhya
Sie sollten sich zuerst mit dem FileStream-Beispiel im Kafka-Konnektor vertraut machen, bevor Sie kommentieren. Der Quell-Connector, der auf N1 ausgeführt wird, liest die Datei und schiebt die Daten an das Thema. Die Sink-Konnektoren N2 und N3 abonnieren dann Nachrichten vom Thema. – tjee