2017-04-12 1 views
0

Ich arbeite für einen Client, der mehrere RDS (MySQL) Instanzen auf AWS verwendet und möchte, dass ich Daten von dort und anderen Quellen in einer einzigen Instanz konsolidieren und melde das aus.Was ist der effizienteste Weg, Daten von einer AWS RDS Instanz zu einer anderen zu übertragen?

Was wäre der effizienteste Weg, um selektive Daten von anderen AWS RDS MySQL-Instanzen an meine zu übertragen?

Ich möchte nicht die gesamte DB migrieren, sondern nur ein paar Spalten und Zeilen, auf deren Grundlage relevante Daten und was zuletzt erstellt/aktualisiert wurde.

Eine Option wäre, ein PHP-Skript zu verwenden, das aus einer DB liest und es in eine andere einfügt, aber es wäre sehr ineffizient. Im Gegensatz zu SQL Server oder ORACLE hat MySQL auch keine Möglichkeit, Abfragen zwischen Servern zu schreiben, sonst hätte ich das nur in einer gespeicherten Prozedur verwendet.

Ich würde mich über irgendwelche Eingaben diesbezüglich freuen.

Antwort

1

Wenn Ihr Hauptziel die Berichterstellung und Analyse ist, ist es üblich, Ihre Transaktionsdaten von RDS nach Redshift zu verschieben, das Ihr Data Warehouse wird. Dieser Artikel blog von AWS bietet einen Ansatz, dies zu tun.

Für den Konsolidierungsvorgang können Sie AWS Data Migration Service verwenden, mit dem Sie die Datenspalte mit den folgenden Optionen migrieren können.

  • Migrate vorhandene Daten
  • Migrate vorhandene Daten & replizieren laufende Änderungen
  • Replizieren von Datenänderungen nur

Für weitere Informationen lesen Sie whitepaper.

Hinweis: Wenn Sie die Daten während der Bewegung verarbeiten müssen, verwenden Sie AWS Data Pipeline.

+0

In Bezug auf Ihren Vorschlag, zu RedShift zu wechseln, gibt es derzeit auch PHP-Code, den ich verwende, um Daten von externen Drittanbieter-Tools über ihre API in unsere RDS zu bekommen. Würde RedShift dies auch unterstützen? –

+0

Werden die Daten, die Sie von diesen APIs erhalten, zu Berichtszwecken verwendet? Wenn ja, kannst du sie zu Redshift bewegen. – Ashan

+0

Ja, und sie haben relevante IDs in unserer CRM-Webanwendung, die einen anderen MySQL-RDS verwendet, damit ich sie beitreten und abfragen kann. Einige der APIs benötigen jedoch Datenbereinigungen und andere Manipulationen, die zur Zeit von PHP erledigt werden. –

0

Haben Sie sich die RDS migration tool angesehen?

+0

Ich kann eine Snapshot-Migrationsfunktion sehen, wird versuchen, RDS-Migrationstool herauszufinden. Kann es selektiv abfragen und übertragen? –

+0

Ich glaube nicht. Aber ich denke du kannst es vor oder nach dem Umzug machen, oder? –

Verwandte Themen