Wie verschiebe ich Daten von RDBMS nach Hadoop ohne Sqoop?

Question

Ich muss riesige Daten von RDBMS nach Hadoop verschieben, ohne Sqoop zu verwenden. Ich habe eine Datenbank von 2200 Tabellen und mit Sqoop, um sie in hdfs zu importieren ist eine hektische Arbeit, die viel Zeit verbraucht und trifft die Datenbank, um jedes Mal die Leistung zu wählen. Ich habe mehr Quellen, um von RDBMS zu hdfs zu wechseln. Und ich frage die Dateien in hdfs mit Bienenstock ab. Kann mir jemand auf effizientere Weise helfen?

Answer 1

Sie könnten es immer manuell mit jedem Back-End-Code tun: Lesen von Daten aus der Datenbank und Streaming-Schreiben in HDFS.
Dann könnten Sie in Ihrer Anwendungskonfiguration alle Anpassungen vornehmen, die Sie benötigen (Threads, Timeouts, Datenmengen usw.). Und das ist eine ziemlich einfache Lösung.
Wir haben das einmal aus irgendeinem Grund versucht, an den ich mich nicht erinnere. Aber meistens benutzen wir sqoop und haben hier keine Probleme.
Sie könnten auch eine Kopie (simone Art von Replikat) der Datenbank erstellen, die von keinem anderen externen System als Ihrem sqoop-Job verwendet wird. Das Auswählen von Benutzern würde die Leistung nicht beeinträchtigen.