Wie behandelt man eine große Menge von Daten mit Spring Data Repositories?

Question

Ich habe eine große Tabelle, auf die ich gerne über ein Spring Data Repository zugreifen würde.

Derzeit bin ich versucht, die PagingAndSortingRepository Schnittstelle zu erweitern, aber es scheint, dass ich nur Methoden definieren können, die Listen zurückgeben, zB .:

public interface MyRepository extends 
     PagingAndSortingRepository<MyEntity, Integer> 
{ 
    @Query(value="SELECT * ...") 
    List<MyEntity> myQuery(Pageable p); 
} 

Auf der anderen Seite, die findAll() Methode, die mit PagingAndSortingRepository kehrt kommt ein Iterable (und ich nehme an, dass die Daten nicht in den Speicher geladen werden).

Ist es möglich, benutzerdefinierte Abfragen zu definieren, die auch Iterable zurückgeben und/oder nicht alle Daten gleichzeitig in den Speicher laden?

Gibt es Alternativen zum Umgang mit großen Tischen?

Answer 1

Hier haben wir die klassische Antwort: es kommt darauf an. Da die Implementierung der Methode speicherspezifisch ist, hängen wir von der zugrunde liegenden Store-API ab. Im Falle von JPA gibt es keine Möglichkeit, Streaming-Zugriff bereitzustellen, da ….getResultList() eine List zurückgibt. Daher stellen wir auch die List dem Client zur Verfügung, da speziell JPA-Entwickler mit Listen arbeiten können. Für JPA ist die Paginierungs-API die einzige Option.

Für einen Speicher wie Neo4j unterstützen wir den Streaming-Zugriff, da die Repositorys sowohl CRUD-Methoden als auch die Ausführung von Finder-Methoden mit Iterable zurückliefern.

Answer 2

Die implementation von findAll() lädt einfach die gesamte Liste aller Entitäten in den Speicher. Sein Rückgabetyp Iterable impliziert nicht, dass er irgendeine Art von Cursorbearbeitung auf Datenbankebene implementiert.

Auf der anderen Seite Ihrer benutzerdefinierten myQuery(Pageable) Methode nur eine Seite im Wert von Einheiten geladen werden kann, weil die erzeugte Umsetzung seine Pageable Parameter ehrt. Sie können den Rückgabetyp entweder als Page oder List deklarieren. Im letzteren Fall erhalten Sie immer noch die gleiche (beschränkte) Anzahl von Entitäten, aber nicht die Metadaten, die zusätzlich eine Page tragen würden.

Sie haben also im Grunde genommen das Richtige getan, um das Laden aller Entitäten in den Speicher Ihrer benutzerdefinierten Abfrage zu vermeiden.

Bitte überprüfen Sie die related documentation here.