kafka - kann Python-Programm mit Kafka außerhalb Hadoop-Cluster verbinden?

Question

Ich lerne Kafka und brauche Ratschläge.

Ich möchte ein Python-Programm schreiben, das eine Datei liest und die Daten an Kafka als Producer schreibt. Kafka wird im Hadoop-Cluster eingerichtet und Python wird außerhalb des Hadoop-Clusters ausgeführt.

ist es möglich, von außen zu verbinden? Muss ich Kafka-Bibliotheken für Python installieren? Wie muss ich installieren?

Answer 1

Der einfachste Weg, um mehr über Kafka zu lernen, ist http://landoop.com/docs/lenses/developers

Sie verwenden wird 1 Docker ausgeführt werden müssen - alles vor Ort zu bringen und dann Entwickler eine Python-Anwendung, die entsprechenden Kafka Libs verwenden, die über die Kafka verbinden Kafka APIs und produzieren Nachrichten es

Nachdem Sie Ihre App erstellt haben - Sie können es dann verpacken und gegen Ihre Ihre Hadoop Kafkas Makler