Ich weiß, HBase nie wirklich auf Datensätze löschen und es nur einen Grabstein Marker gesetzt. Aber was, wenn die Datenmenge größer und größer wird, und eines Tages möchten Sie die Größe reduzieren, indem Sie ein hartes Löschen (echtes Löschen) für einige der ausgewählten Zeilen durchführen?Gibt es eine Möglichkeit, hartes Löschen (echtes Löschen) auf HBase durchzuführen?
Löschen Marker und gelöschte Zellen werden während der Hauptverdichtung entfernt. Kleinere Verdichtung führt nur kleine HFiles in größere zusammen. Sie können die Hauptverdichtung manuell auslösen, indem Sie den folgenden Befehl ausführen:
Verdichtung (minor und major) ist ein Online-Vorgang. Es ist kein Wartungsfenster erforderlich, um eine Verdichtung durchzuführen.
Denken Sie daran, dass große Verdichtung lange dauern kann, da es alle HFiles reorganisieren wird. Um negative Auswirkungen auf die Leistung bei stark ausgelasteten Systemen zu vermeiden, sollten Sie eine Verdichtung außerhalb der Spitzenzeiten planen.
Große Verdichtung geschieht auch automatisch (standardmäßig alle 7 Tage). Die Häufigkeit der geplanten Hauptverdichtung wird über den Parameter hbase.hregion.majorcompaction gesteuert.
Geringfügige Verdichtung kann auch zu eskalieren.
Für weitere Details empfehle ich die ausgezeichnete HBase Reference Guide.
Hallo Ivan, danke für die Antwort! Ist für eine größere Komprimierung ein Herunterfahren oder ein Neustart erforderlich? Ist es auf jedem Produktions-Host machbar? – Olivia
Es ist ein Online-Betrieb. Es ist normalerweise kein Neustart oder Herunterfahren erforderlich. Schreibvorgänge, die während der Komprimierung stattfinden, werden im Memspeicher gespeichert. –