Benötigen Java-Code Confluent kafka connect HDFS API

Question

Ich bin Anfänger in kafka. Versuchen, Daten von Kafka in hdfs zu schreiben. Es ist nirgends dokumentiert, wie Sie die kafka-connect-hdfs Java API von Confluent verwenden. Jeder Link oder Code-Snippet wird mir helfen. Danke im Voraus.

Answer 1

Sie müssen die Java-API nicht für verwenden. KafkaConnect kann über die Befehlszeile oder die REST-API verwendet werden ... selbst wenn Sie Connectors aus Java auslösen, funktioniert die REST-API weiterhin.

Einige Dokumentation Ihnen den Einstieg:

Erstens, die KafkaConnect quickstart, nur in einem guten Zustand ist Ihr System, um sicherzustellen, bevor Sie versuchen, etwas fortgeschritten zu tun: http://docs.confluent.io/3.0.0/connect/intro.html#quickstart

Wenn Sie neu zu Kafka vielleicht sogar noch früher mit dem Kafka quickstart, Beginn: http://docs.confluent.io/3.0.0/quickstart.html

einmal stand-alone mehr funktioniert, versuchen Sie, verteilten Modus schalten und die REST-API Check-out: http://docs.confluent.io/3.0.0/connect/userguide.html#rest-interface

Dann versuchen Sie den HDFS-Anschluss. Entweder beginnt mit dem Quick-Start: http://docs.confluent.io/3.0.0/connect/connect-hdfs/docs/hdfs_connector.html#quickstart

Oder die Blog-Tutorial: http://www.confluent.io/blog/how-to-build-a-scalable-etl-pipeline-with-kafka-connect

Hope this auf Ihrem Weg hilft.

Answer 2

Sie können Kafkas Producer Java API verwenden, um zu Kafka-Themen zu schreiben.

kafka-connect-hdfs nimmt Nachrichten von Themen und legt sie in HDFS. Dies erfordert keinen Java-Code.

Sie führen es in dem kafka-connect-hdfs quickstart gezeigt hat:

unterstützt nur registrierte Themen mit Avro Datenformaten mit dem Kafka-Schema Registry

$ ./bin/connect-standalone etc/schema-registry/connect-avro-standalone.properties \ 
etc/kafka-connect-hdfs/quickstart-hdfs.properties 

Ab dem Moment, kafka-connect-hdfs.