Fehler: sqoop zum Hinzufügen von Datensätzen in hdfs

Question

Mein Szenario: Ich werde täglich 100 Datensätze in hdfs durch sqoop zu einer bestimmten Zeit erhalten. Aber, gestern habe ich nur 50 Aufzeichnungen für diese bestimmte Zeit heute ich muss 50 + 100 Aufzeichnungen in hdfs durch sqoop für diese bestimmte Zeit erhalten. Bitte hilf mir. Danke im Voraus.

Answer 1

Um dieses Szenario zu behandeln, müssen Sie rechtzeitig eine Where-Bedingung hinzufügen. Keine Frage, wie hoch der Rekord ist.

Sie können so etwas wie dies in Sqoop Import Befehl --query Parameter verwenden:

sqoop import \ 
    --connect jdbc:mysql://localhost:3306/sqoop \ 
    --username sqoop \ 
    --password sqoop \ 
    --query 'SELECT * from records 
        WHERE recordTime BETWEEN ('<datetime>' AND NOW()) \ 
    --target-dir /user/hadoop/records 

Sie müssen den in dem Zustand, wie pro Ihrem Tabellenschema ändern.

Weitere Informationen finden Sie unter Sqoop Documentation.

Answer 2

sqoop -Import --connect jdbc: mysql: // localhost: 3306/Ihr_mysql_Datenbankname --username root -P --query 'SELECT * aus Datensätzen WHERE recordTime BETWEEN (' 'UND JETZT()) --target-dir/wo Sie Daten

für Passwort

und machen, wenn Sqoop bitten speichern möchten geben Sie Ihre mysql Passwort z. B. (mein pwd ist root)