Ich brauche einen Trust Store, um eine SSL-Kafka-Verbindung in Google Cloud Dataflow herzustellen. Kann ich das aus einem Bucket liefern oder gibt es eine Möglichkeit dies auf dem "lokalen Dateisystem" zu speichern?Truststore und Google Cloud Dataflow
0
A
Antwort
1
Sie können KafkaIO.Read.withConsumerFactoryFn verwenden, um eine Factory-Funktion bereitzustellen, die zum Erstellen des Kafka-Verbrauchers aufgerufen wird. In dieser Funktion können Sie alles tun, was Ihnen gefällt, z. Sie können die Trust Store-Datei von einem GCS-Bucket herunterladen (ich würde GcsUtil dafür empfehlen) und in einer temporären Datei auf dem lokalen Datenträger speichern - AFAIK Kafka selbst unterstützt nur diese Datei auf dem lokalen Datenträger. Dann erstellen Sie manuell eine KafkaConsumer
und zeigen Sie auf die Datei.
Verwandte Themen
- 1. google-cloud-dataflow vs apache-beam
- 2. PHP Cloud Datastore und Cloud Dataflow
- 3. große Datei generiert mit Google Cloud Dataflow
- 4. Verwenden des Dienstkontos mit google cloud dataflow
- 5. Google Cloud Platform DataFlow-Mitarbeiter IP-Adressen
- 6. Google Cloud Dataflow, BigQueryIO und NullPointerException auf TableRow.get
- 7. Spring Cloud DataFlow und Kafka Security
- 8. So ordnen Sie Google Cloud Dataflow zu System.err schreibt in Google Cloud-Protokollierungsereignisse der Warnstufe?
- 9. Optimiert Google Cloud Dataflow die IO-gebundenen Prozesse?
- 10. Google Cloud Dataflow: Vorgeschlagen Auftrag ausführt, aber mit alten Code
- 11. Erstellen/Schreiben von BigQuery-Tabellen über Google Cloud Dataflow
- 12. Angepasster DNS-Resolver für Google Cloud Dataflow-Pipeline
- 13. PubSub-Nachrichten über Google Cloud Dataflow in BigQuery einfügen
- 14. Elementwertbasiertes Schreiben in Google Cloud Storage mithilfe von Dataflow
- 15. Wie löse ich java.lang.NoSuchMethodError: com.google.api.services.dataflow.model.Environment.setSdkPipelineOptions mit Google Cloud Dataflow auf?
- 16. Streaming-Daten mit Google Cloud Dataflow SDK lesen
- 17. Wie wird Google Cloud Dataflow von App Engine ausgeführt?
- 18. GroupByKey gibt keine Elemente in Google Cloud Dataflow zurück
- 19. Behandeln Sie Nullwerte von BigQuery in Google Cloud Dataflow. Python
- 20. Google Dataflow "elementCountExact" Aggregation
- 21. Google Dataflow vs Apache Spark Streaming (entweder in Google Cloud oder mit Google Dataproc)
- 22. Truststore- und Keystore-Definitionen
- 23. Google DataFlow & Reading Parktordateien
- 24. Dataflow-Pipeline und Pubsub-Emulator
- 25. Singleton in Google Dataflow
- 26. Mehrere google-dataflow- und dataproc-Jobs
- 27. Wie verwenden Sie Google DataFlow Runner und Vorlagen in tf.Transform?
- 28. ETL & Parsing CSV-Dateien in Cloud Dataflow
- 29. Egit und Google Cloud
- 30. spring-cloud-dataflow-kubernetes App-Speicherlimit