Cloudera Trash Checkpoint Intervall Konfiguration

Question

Cloudera erlaubt mir, fs.trash.interval zu konfigurieren.

Aber es erlaubt mir nicht, fs.trash.checkpoint.interval conigure.

Also wann erstellt hdfs einen Checkpoint?

Eine ähnliche Frage besteht hier ohne Antwort: When does Hadoop Framework creates a checkpoint (expunge) to its "current" directory in trash?

Answer 1

Die Apache Hadoop Dokumentation enthält Links in der linken Navigation auf verschiedene * -default.xml Dateien. Diese Dateien enthalten die Standardeinstellungen für alle Konfigurationseigenschaften.

Wenn Sie durch die Links * -default.xml klicken, zeigt die Website sie in hübsch gedruckten Tabellen an. Hier ist die rohe XML-Version von core-site.xml über die Eigenschaften des Papierkorbs.

<property> 
    <name>fs.trash.interval</name> 
    <value>0</value> 
    <description>Number of minutes after which the checkpoint 
    gets deleted. If zero, the trash feature is disabled. 
    This option may be configured both on the server and the 
    client. If trash is disabled server side then the client 
    side configuration is checked. If trash is enabled on the 
    server side then the value configured on the server is 
    used and the client configuration value is ignored. 
    </description> 
</property> 

<property> 
    <name>fs.trash.checkpoint.interval</name> 
    <value>0</value> 
    <description>Number of minutes between trash checkpoints. 
    Should be smaller or equal to fs.trash.interval. If zero, 
    the value is set to the value of fs.trash.interval. 
    Every time the checkpointer runs it creates a new checkpoint 
    out of current and removes checkpoints created more than 
    fs.trash.interval minutes ago. 
    </description> 
</property> 

auf dieser Beschreibung basiert, wenn Sie nicht fs.trash.checkpoint.interval geändert haben, dann verwendet er den gleichen Wert wie fs.trash.interval, und das ist, wie oft würde es einen Müll Kontrollpunkt erstellen.

Die Konfigurationseigenschaft fs.trash.checkpoint.interval wurde in der Release-Line Apache Hadoop 2.x eingeführt. Ältere Versionen unterstützten diese Konfigurationseigenschaft nicht, und Sie könnten sich das Verhalten als gleichwertig mit fs.trash.checkpoint.interval gleich fs.trash.interval vorstellen.