So holen Sie Daten aus einer Tabelle mit Millionen von Datensätzen mithilfe von Spring jdbc Vorlage

Question

Ich versuche, Daten mit Spring jdbc Vorlage abzurufen. Die Tabelle hat Millionen von Datensätzen.

Die Verwendung des unten stehenden Codes dauert unendlich lange und schließlich muss ich den Code nicht mehr ausführen.

private static final String CLIENTDATA_QUERY = "select logtime, clientip, clientagent, uri from client_data"; 
public List<ClientDataModel> readFromClientDataDB() { 
//  jdbcTemplate.setFetchSize(1000); 
     List<ClientDataModel> clientData = jdbcTemplate.query(CLIENTDATA_QUERY, new RowMapper<ClientDataModel>() { 

      @Override 
      public ClientDataModel mapRow(ResultSet rs, int rowNum) throws SQLException { 
       ClientDataModel model = new ClientDataModel(); 
       model.setLogtime(rs.getString("logtime")); 
       model.setClientIP(rs.getString("clientip")); 
       model.setClientAgent(rs.getString("clientagent")); 
//    model.setUri(rs.getString("uri")); 
       return model; 
      } 
     }); 

     System.out.println("Client Data Size :" + clientData.size()); 
     return clientData; 
    } 

Bitte kann jemand vorschlagen, wie ich Datensätze aus einer riesigen Tabelle auf die effizienteste Weise abrufen kann.

Alle Datensätze müssen abgerufen werden und dann beginnt der Code für die weitere Logik. Dies ist auf der Serverseite.

Answer 1

Verwenden Sie keine Methode, die eine Liste zurückgibt, verwenden Sie stattdessen RowCallBackHandler. Sie können in Ihrer Abfrage auch Paginierung verwenden.

JDBCTemplate erfordert das Einlesen aller Daten, die in Form eines Objekts aus der Datenbank abgerufen werden, da bei der Speicherung großer Ergebnismengen viel Speicherplatz belegt ist. Spring Batch ist eine bessere Lösung in solchen Szenarien.