Wie Marktdaten synchronisieren und häufig zeigen als historische Daten Zeitreihen

Question

http://pubapi.cryptsy.com/api.php?method=marketdatav2

Ich möchte Marktdaten auf einer kontinuierlichen Basis synchronisieren (z cryptsy und anderen Vermittlungsstellen). Ich möchte den aktuellen Kauf-/Verkaufspreis aus den jeweiligen Aufträgen dieser Börsen regelmäßig als historische Zeitreihe darstellen.

Welche Backend-Datenbank sollte ich verwenden, um einen Parameter aus den abgerufenen Daten als historische Zeitreihendaten zu speichern und zu plotten.

Answer 1

Ich würde vorschlagen, dass Sie sich eine Datenbank ansehen, die für die Verarbeitung von Zeitreihendaten optimiert ist. Der eine, der in den Sinn kommt, ist InfluxDB. This question hat eine allgemeinere Zeitreihen-Datenbank.

Answer 2

Ich denke, es braucht mehr Details über die Anforderung. Es beschreibt nur, "es benötigt Synchronisierungszeitreihendaten". Was ist ein Szenario? Was ist Datenquelle und Ziel?

Option 1.

Wenn es nur Datensynchronisationsprobleme zwischen zwei Daten basiert, einfachste Lösung ist CouchDB NoSQL Series (CouchDB, Couchbase, Cloudant)

Alles, was sie auf CouchDB basieren, trotzdem Sie bieten Data-Center-Level-Datenreplikationsfunktion (XCDR). So können Sie das Datum auf andere CouchDB in anderen Rechenzentren oder sogar in CouchDB in mobilen Geräten replizieren.

Ich hoffe, es wird Ihnen nützlich sein.

Option 2.

Anderer Ansatz Ansatz zur Datenintegration. Sie können Daten mithilfe von ETL-Stapeljobs synchronisieren. Batch Worker kann Daten regelmäßig zum Ziel kopieren. Dies ist der gebräuchlichste Weg, Daten zu einem anderen Ziel zu replizieren. Es gibt eine Menge von Werkzeugen unterstützt ETL-Linie Pentaho ETL, Spring Integration, Apache Camel.

Wenn Sie mir ausführliches Szenario bieten, kann ich u helfen, genauer

Genießen -Terry

Answer 3

Ich denke mongoDB ist eine gute Wahl. Hier ist warum:

1. Sie können problemlos horizontal skalieren und können daher enorme Datenmengen speichern. Wenn Sie einen entsprechenden Shard-Schlüssel verwenden, können Sie die Shards möglicherweise sogar in der Nähe des Austauschs platzieren, an den sie sich anschließen, um die Geschwindigkeit zu erhöhen, falls dies zu einem Problem werden sollte.
2. Replikatsätze bieten automatisches Failover, das implizit ein Problem darstellen könnte
3. Mithilfe der TTL-Funktion können Daten nach ihrer TTL automatisch gelöscht werden, wodurch effektiv eine Round-Robin-Datenbank erstellt wird.
4. Sowohl die Aggregation und die Map/Reduce Rahmen wird hilfreich sein
5. Es gibt einige kostenlose Kurse an MongoDB-Universität, die Ihnen die häufigsten Fallen