Spark Streaming für Fitbit-Daten

Question

Ich mache Fitbit Oauth 2.0, um auf Fitbit-Daten zuzugreifen. Ich speichere diese Daten in SQL db, nach denen ich Spark SQL verwenden, um die Daten zu analysieren. Wenn ich Spark Streaming verwenden muss, wie kann ich Daten nach dem Ausführen von OAuth in Spark aufnehmen?

Answer 1

Es gibt mehrere Möglichkeiten, es

1. Sie die auf strukturierte Daten fitbit Daten formatiert werden kann zu tun und es dann Dump auf HDFS/Kafka/Sockel und eine entsprechende HDFS/Kafka/Sockel-Empfänger zu starten.

2. Sie können einen eigenen benutzerdefinierten Empfänger schreiben, um die Daten direkt mit OAuth oder von SQL db zu erhalten.