2016-06-18 12 views
6

Ich habe an Aggregation von Streaming-Daten gearbeitet, fand ich 2 Tools, um das gleiche zu erreichen. Sie sind Druide und Pipelinedb. Ich habe die Implementierung und Architektur der beiden verstanden. Aber ich konnte keinen Weg finden, diese beiden zu vergleichen. Gibt es einen bestehenden Benchmarktest, der durchgeführt wurde? Oder wenn ich neben der Geschwindigkeit und Skalierbarkeit ein Benchmarking durchführen möchte, müssen alle Faktoren berücksichtigt werden. Irgendwelche Ideen, Links und Hilfe wären wirklich bemerkenswert. Auch Ihre eigenen Erfahrungen mit pipelinedb teilen und DruideVergleichen von Druiden und Pipelinedb

Dank

+1

Haben Sie etwas gefunden? Auf der Suche nach der gleichen Sache. Mit was bist du am Ende gegangen und warum? –

Antwort

0

UPD:

Nach PipelineDB Seiten lesen, ich nur fragen, warum müssen Sie so unterschiedliche Dinge vergleichen?

Druide ist ziemlich komplex zu installieren und zu warten, es erfordert mehrere externe Abhängigkeiten (z. B. zookeeper und hdfs/amazon, die auch gepflegt werden müssen).

Und für diesen Preis kaufen Sie die wichtigsten Funktionen von Druide: spaltenorientierte und Speicherung und Verarbeitung verteilt. Das bedeutet auch horizontale Skalierbarkeit out-of-the-Box, und es ist völlig automatisch, Sie müssen nicht einmal darüber nachdenken.

Also, wenn Sie seine verteilte Natur nicht brauchen, würde ich sagen, dass Sie überhaupt keinen Druiden brauchen.

Erstfassung:

Ich habe keine Erfahrung mit pipelinedb (was ist es google nichts zeigt, pls einige Link teilen?), Aber ich habe viel Erfahrung mit Druiden. So würde ich (abgesehen von [Abfrage] Geschwindigkeit und Skalierbarkeit) berücksichtigen: (?, Wie viele Zeilen pro Sekunde/min/Stunde/... kann eingefügt werden)

  1. Leistung Einnahme
  2. RAM Verbrauch der Einnahme (wie viel RAM benötigt es mit Zielgeschwindigkeit aufnehmen?)
  3. Komprimierungsstufe (wie viele Speicherplatz benötigt man Stunde/Tag/Monat/... von Daten?)
  4. Fehlertoleranz (was passiert, wenn einige der Komponenten fehlschlagen? Es ist kritisch für mein Geschäft?)
  5. Caching (nur merken)
+0

Was Google verwenden Sie? pipelinedb ist ziemlich gut referenziert. https://www.pipelinedb.com/ – mathieu

+0

gerade gestern zeigte es Tonnen von "Buy-this-Domain" Seiten –

Verwandte Themen