Angenommen, Sie haben Drill mit zwei separaten Datenbanken verbunden, und Sie führen eine Abfrage aus, bei der Sie eine große Menge an Daten aus jeder einzelnen Datenbank ziehen und dann eine Verknüpfung ausführen.Wie behandelt Apache Drill große Ergebnismengen?
Wie geht Drill damit um, ohne Fehler durch zu wenig Speicher auszulösen? Dies setzt voraus, dass die angeforderten Daten die Speichermenge überschreiten, die von Drill verwendet werden kann.
Überprüfen Sie bitte die folgenden Informationen in der Drill-Dokumentation.
Drill Waagen von einem einzigen Laptop zu einem 1000-Knoten-Cluster
Drill als einfacher Download zur Verfügung steht Ihnen auf Ihrem Laptop laufen kann. Wenn Sie bereit sind, größere Datenmengen zu analysieren, stellen Sie Drill auf Ihrem Hadoop-Cluster bereit (bis zu 1000 Standardserver). Drill verwendet den Aggregatspeicher im Cluster, um Abfragen mithilfe eines optimistischen Pipelinemodells auszuführen, und wird automatisch auf die Festplatte ausgelagert, wenn der Arbeitssatz nicht in den Arbeitsspeicher passt.
Ich glaube nicht, dass es irgendwelche gibt. Es gibt einige Eigenschaften, die einem Level helfen. Generell wirft Drill OutOfMemory sehr häufig, wenn wir mit großen Datenmengen umgehen. Ich bin auch neugierig auf die Antworten. –