Ich bin neu bei Amazon Redshift. Der Versuch, den besten Weg zu finden, um zwei Tabellen in Rotverschiebung zu verbinden.
Ich habe 1 Tabelle mit 2,3 Milliarden Datensätze und die ID-Spalte hat den Datentyp varchar (40) mit Sortierschlüssel und Schlüssel.
Doing links mit anderen Tabelle mit 23 Millionen Datensätze auf der gleichen Spalte ID verbinden - Sortierschlüssel und dist Schlüssel.
Die Ausführung der Abfrage dauert Stunden. Was mache ich hier falsch?
Redshift join mit varchar (40) und 2,3 Milliarden Zeilen
1
A
Antwort
0
Sehen Sie, wenn Sie Warnungen für die Tabelle STL_ALERT_EVENT_LOG haben, können Sie auch 'EXPLAIN' für Ihre Abfrage verwenden und überprüfen, ob Ihre Abfrage den schnellsten Join verwendet (Merge Join). Sie sollten auch Tabellen mit Datenschräglauf oder unsortierten Zeilen identifizieren (siehe Redshift-Dokumentation)
Verwandte Themen
- 1. Redshift Tabelle Update mit Join
- 2. Oracle-Nummer und Varchar Join
- 3. Ausgabe von Milliarden von Zeilen aus Spark
- 4. SQL Workbench Fehler beim Verbinden mit Redshift
- 5. Schlechte Leistung bei Amazon Redshift-Abfragen basierend auf VARCHAR-Größe
- 6. Redshift-Leistung: Kodierung in Join-Spalte
- 7. Wählen Sie Zeilen mit JOIN eine Unterabfrage
- 8. Optimieren Sie LEFT JOIN am Tisch mit 30 000 + Zeilen
- 9. unterschiedliche Punktzahl zwischen 1,6 und 2,3
- 10. Maximale Anzahl von Zeilen pro MySQL (Milliarden) NDBCLUSTER?
- 11. Spalten Join Zeilen
- 12. Ersetze Wert in Varchar (max) Feld mit Join
- 13. 4 Tabelle Abfrage/Join. doppelte Zeilen erhalten
- 14. PIVOT mit Varchar-Datentyp
- 15. Redshift: Serializable Isolationsverletzung auf Tabelle
- 16. Join zwei Tabellen mit unterschiedlichen Spaltennamen und gleichen Zeilen
- 17. Slick - Join Tabelle mit Zeilen Limit
- 18. Was macht `A (:: 2,3) = -1.0` in Fortran?
- 19. Löschen von Zeilen mit MySQL LEFT JOIN
- 20. Python: Analyse auf CSV-Dateien 100.000 Zeilen x 40 Spalten
- 21. Lokale Entwicklung und Inszenierung mit Amazon Redshift
- 22. Links Join Tabelle mit zusätzlichen Zeilen
- 23. Hilfe mit Join
- 24. Redshift mit SSIS/SSDT
- 25. Wie behandelt Redshift Guillemets?
- 26. Spark-Redshift mit Python
- 27. Abfrage mit Summe und Join
- 28. Redshift könnte vollständige Tabellensuche mit Sortierschlüssel und verbundene Tabelle vermeiden
- 29. Amazon Redshift Equality-Filter Leistung und sortkeys
- 30. ETL möglich zwischen S3 und Redshift mit Kinesis Firehose?
Vielen Dank! Ich habe "Explain" verwendet, um den Typ der Join-Abfrage zu bestimmen, der verwendet wurde, stellte sich heraus, dass es Hash-Join verwendete. Durchgeführtes Vakuum, das fast 10 Stunden gedauert hat und jetzt bekomme ich die Ergebnisse in 5 Minuten. –