Vorbereitetes Statement mehrmals effizient verwenden

Question

Unten ist der Code, den ich verwende, um multiple records(around 5000-7000) in der Oracle-Datenbank mit Prepared Statement einzufügen.

Der Weg, den ich gerade mache, ist gut? Oder kann es besser mit einigen batch thing verbessern?

pstatement = db_connection.prepareStatement(PDSLnPConstants.UPSERT_SQL); 

for (Entry<Integer, LinkedHashMap<Integer, String>> entry : MAPPING.entrySet()) { 

    pstatement.setInt(1, entry.getKey()); 
    pstatement.setString(2, entry.getValue().get(LnPConstants.CGUID_ID)); 
    pstatement.setString(3, entry.getValue().get(LnPConstants.PGUID_ID)); 
    pstatement.setString(4, entry.getValue().get(LnPConstants.SGUID_ID)); 
    pstatement.setString(5, entry.getValue().get(LnPConstants.UID_ID)); 
    pstatement.setString(6, entry.getValue().get(LnPConstants.ULOC_ID)); 
    pstatement.setString(7, entry.getValue().get(LnPConstants.SLOC_ID)); 
    pstatement.setString(8, entry.getValue().get(LnPConstants.PLOC_ID)); 
    pstatement.setString(9, entry.getValue().get(LnPConstants.ALOC_ID)); 
    pstatement.setString(10, entry.getValue().get(LnPConstants.SITE_ID)); 
    pstatement.executeUpdate(); 

    pstatement.clearParameters(); 
} 

Udpated Code, ich verwende: -

public void runNextCommand() { 

    Connection db_connection = null; 
    PreparedStatement pstatement = null; 
    int batchLimit = 1000; 
    boolean autoCommit = false; 

    try { 
     db_connection = getDBConnection(); 

     autoCommit = db_connection.getAutoCommit(); 
     db_connection.setAutoCommit(false); //Turn off autoCommit 
     pstatement = db_connection.prepareStatement(LnPConstants.UPSERT_SQL); // create a statement 

     for (Entry<Integer, LinkedHashMap<Integer, String>> entry : GUID_ID_MAPPING.entrySet()) { 
      pstatement.setInt(1, entry.getKey()); 
      pstatement.setString(2, entry.getValue().get(LnPConstants.CGUID_ID)); 
      pstatement.setString(3, entry.getValue().get(LnPConstants.PGUID_ID)); 
      pstatement.setString(4, entry.getValue().get(LnPConstants.SGUID_ID)); 
      pstatement.setString(5, entry.getValue().get(LnPConstants.UID_ID)); 
      pstatement.setString(6, entry.getValue().get(LnPConstants.ULOC_ID)); 
      pstatement.setString(7, entry.getValue().get(LnPConstants.SLOC_ID)); 
      pstatement.setString(8, entry.getValue().get(LnPConstants.PLOC_ID)); 
      pstatement.setString(9, entry.getValue().get(LnPConstants.ALOC_ID)); 
      pstatement.setString(10, entry.getValue().get(LnPConstants.SITE_ID)); 
      pstatement.addBatch(); 

      batchLimit--; 

      if(batchLimit == 0){ 
       pstatement.executeBatch(); 
       pstatement.clearBatch(); 
       batchLimit = 1000; 
      } 
      pstatement.clearParameters(); 
     } 

    } catch (SQLException e) { 
     getLogger().log(LogLevel.ERROR, e); 
    } finally { 
     try { 
      pstatement.executeBatch(); 
      db_connection.commit(); 
      db_connection.setAutoCommit(autoCommit); 
     } catch (SQLException e1) { 
      getLogger().log(LogLevel.ERROR, e1.getMessage(), e1.fillInStackTrace()); 
     } 

     if (pstatement != null) { 
      try { 
       pstatement.close(); 
       pstatement = null; 
      } catch (SQLException e) { 
       getLogger().log(LogLevel.ERROR, e.getMessage(), e.fillInStackTrace()); 
      } 
     } 
     if (db_connection!= null) { 
      try { 
       db_connection.close(); 
       db_connection = null; 
      } catch (SQLException e) { 
       getLogger().log(LogLevel.ERROR, e.getMessage(), e.fillInStackTrace()); 
      } 
     } 
    } 
} 

Answer 1

Sie denken kann addBatch() der Verwendung und eine Rückseite von Anweisungen in einem Schuss ausgeführt wird. Passen Sie auch, wie @pst in Ihrer Frage kommentierte, an.

Die Art und Weise Sie tun würde, ist wie folgt:

boolean autoCommit = connection.getAutoCommit(); 
try{ 
    connection.setAutoCommit(false //Turn off autoCommit 
    pstatement = db_connection.prepareStatement(PDSLnPConstants.UPSERT_SQL); 

    int batchLimit = 1000; 

    try{ 
     for (Entry<Integer, LinkedHashMap<Integer, String>> entry : MAPPING.entrySet()) { 
      pstatement.setInt(1, entry.getKey()); 
      pstatement.setString(2, entry.getValue().get(LnPConstants.CGUID_ID)); 
      pstatement.setString(3, entry.getValue().get(LnPConstants.PGUID_ID)); 
      pstatement.setString(4, entry.getValue().get(LnPConstants.SGUID_ID)); 
      pstatement.setString(5, entry.getValue().get(LnPConstants.UID_ID)); 
      pstatement.setString(6, entry.getValue().get(LnPConstants.ULOC_ID)); 
      pstatement.setString(7, entry.getValue().get(LnPConstants.SLOC_ID)); 
      pstatement.setString(8, entry.getValue().get(LnPConstants.PLOC_ID)); 
      pstatement.setString(9, entry.getValue().get(LnPConstants.ALOC_ID)); 
      pstatement.setString(10, entry.getValue().get(LnPConstants.SITE_ID)); 

      pstatement.addBatch(); 
      batchLimit--; 

      if(batchLimit == 0){ 
       pstatement.executeBatch(); 
       pstatement.clearBatch 
       batchLimit = 1000; 
      } 
      pstatement.clearParameters(); 
     } 
    }finally{ 
     //for the remaining ones 
     pstatement.executeBatch(); 

     //commit your updates 
     connection.commit(); 
    } 
}finally{ 
    connection.setAutoCommit(autoCommit); 
} 

Die Idee ist, eine Grenze für die Batch-Updates festlegen und führen nur ein Datenbank-Update, wenn Sie eine bestimmte Grenze erreichen. Auf diese Weise begrenzen Sie einen Datenbankanruf auf einmal alle batchLimit, die Sie definiert haben. So wäre es schneller.

Beachten Sie auch für die transaction, ich habe gerade gezeigt, wie und wann zu commit. Dies ist möglicherweise nicht immer der richtige Punkt zu commit, da diese Entscheidung auf Ihrer Anforderung basieren würde. Möglicherweise möchten Sie auch eine rollback im Falle einer Ausnahme durchführen. Also müssen Sie sich entscheiden.

Werfen Sie einen Blick auf "Using Transaction" Tutorial, um ein besseres Bild von der Verwendung von transaction zu bekommen.

Answer 2

Ihr Stück Code scheint mir gut.

Nur für Code Sauberkeit, würde ich entry.getValue() in eine Variable setzen (nennen Sie es value).
Und es gibt keine Notwendigkeit, clearParameters() zu rufen.

Zuletzt, denken Sie daran, die vorbereitete Anweisung korrekt zu entsorgen, wenn Sie sie nicht mehr benötigen (close()).

Answer 3

Ja, das Durchführen von Batch-Aktualisierungen würde Ihre Leistung erheblich verbessern. Einfach googeln, meine bevorzugte Antwort ist this one from Mkyong.com. Sonst sieht dein Code gut aus. "clearParameters()" ist nicht wirklich notwendig, es könnte sogar einige Prozessorzyklen verbrauchen. Wichtig: Wenn AutoCommit aktiviert ist, vergessen Sie nicht, es vorher zu deaktivieren, und aktivieren Sie es, nachdem Sie die Updates durchgeführt haben, dies bringt wieder eine enorme Verbesserung.

PS

Above Empfehlung basiert meiner Erfahrung auch auf. Ich habe gerade festgestellt, dass diese Frage bereits gestellt wurde here at Stackoverflow und die Antwort ist sehr detailliert. Weitere Informationen zu PreparedStatements und Batches finden Sie in der Oracle-Dokumentation here und über Transaktionen (AutoCommit) here.