Ist es von Vorteil, Hive-Partitionen bei der Verwendung von Parkett-Dateispeicher zu erstellen. Parkett ist ein spaltenförmiges Speicherdateiformat, das Daten in Spaltenabschnitten speichert, wobei alle Spalten sequenziell nach Index gespeichert werden. Wenn wir eine Spalte auf der Basis eines Prädikats abfragen, springt der Spaltenauswahlindex auf der Grundlage des Prädikats in den erforderlichen Bereich und druckt die Werte. Wie wird Partitionierung hilfreich sein? In zeilenorientierten Hive-Tabellen ist die Partitionierung hilfreich, da wir nur den spezifizierten erforderlichen Datenbereich erreichen, aber nicht imstande sind zu verstehen, wie es im Parkettspeicher hilfreich sein wird.Vorteil der Erstellung von Hive-Partitionen bei Verwendung von Parkett-Dateispeicher
Antwort
In nicht partitionierten Tabellen müsste Hive alle Dateien im Datenverzeichnis der Tabelle lesen und dann Filter anwenden. Für große Tabellen ist es langsam und teuer. In Partitionstabellen werden Unterverzeichnisse erstellt, die auf der Partitionsspalte basieren. Sie verteilt die Ausführungslast horizontal, und es ist nicht erforderlich, ganze Tabellenspalten für einzelne Datensätze zu durchsuchen. Das Parkett-Dateiformat hat eine bessere Komprimierung, aber die Leistung ist nicht so gut. Die Partition mit Parkett reduzieren die Ausführungszeit der Abfrage.wenn ich Filterabfrage auf Parkett Tisch ausgeführt, dauerte es 29,657 Sekunden, während Partition mit Parkett-Format dauerte 14,21 Sekunden.Wenn es große Tabelle ist, dann wird es definitiv die Leistung der Abfrage verbessern .
- 1. Vorteil der Verwendung von Ansichten in MySQL
- 2. Vorteil der Verwendung von Thread.Start vs QueueUserWorkItem
- 3. Vorteil der Verwendung von Methodentyp in Python
- 4. Wo liegt der Vorteil bei der Verwendung des Strategy Patterns?
- 5. Unterschied bei der Erstellung von FREMD KEY
- 6. Vorteil der Verwendung von jQuery zum Ändern von CSS
- 7. ArrayOutOfBoundsException bei der Bean-Erstellung bei der Verwendung von Java 8-Konstrukten
- 8. Vorteil der Komprimierung von Javascript/CSS-Dateien bei Verwendung von IIS httpCompression
- 9. Vorteil der Verwendung von 'Fenster' Präfix in Javascript
- 10. Was ist der Vorteil der Verwendung von Feder REST Docs
- 11. Was ist der Vorteil der Verwendung von Async mit MVC5?
- 12. Vorteil der Verwendung von WaitForSingleObject beim Überprüfen der Prozess-ID
- 13. Vorteil der Erstellung einer Zugriffsverletzung für Testzwecke mit Asm-Code?
- 14. Gibt es einen Vorteil bei der Verwendung einer Python-Klasse?
- 15. bei der Verwendung von EditorFor
- 16. Vorteil der Verwendung von Backtracking und verzweigen und binden
- 17. Vorteil der Verwendung von UseSubmitBehavior in asp.net Taste
- 18. Vorteil der Verwendung von Methode in OOP Javascript
- 19. Vorteil der Verwendung von eckigen js auf asp.net mvc
- 20. Was ist Vorteil der Verwendung von (function() {...})() in JavaScript
- 21. Gibt es einen echten Vorteil der Verwendung von J #?
- 22. Fehler bei der Erstellung von std :: vector der lokalen Struktur
- 23. Welchen Vorteil hat die Verwendung von nicht blockierenden Sockeln bei der Funktion "Auswahl"?
- 24. Gibt es einen Vorteil bei der Verwendung von AND und OR über && und || in PHP?
- 25. Welchen Vorteil bietet die Verwendung von Attributgruppen bei der Definition einer XSD?
- 26. Was ist der Vorteil von extend.js?
- 27. Experience Erstellung und Verwendung von Qt Embedded
- 28. Was ist der zusätzliche Vorteil der Erstellung von Konstruktor in Java?
- 29. Vorteil von generischen Konstruktoren
- 30. SVM Modellfehler bei der Vorhersage der Erstellung