wie erzwingen Thema von kafka löschen

Question

wir die folgenden Schritte tun, um das Thema zu löschen - hgpo.llo.prmt.processed

aber auch nach 12 Stunden Themen Ordner nicht noch von /var gelöscht/kafka/kafka-logs

note - wir setzen - delete.topic.enable = true

hkafka01 kafka-logs]# /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper master01:2181 --alter --topic hgpo.llo.prmt.processed--config retention.ms=1000 

    WARNING: Altering topic configuration from this script has been deprecated and may be removed in future releases. Going forward, please use kafka-configs.sh for this functionality Updated config for topic "hgpo.llo.prmt.processedd" 

    kafka01 kafka-logs]# /usr/hdp/current/kafka-broker/bin/kafka-topics.sh --zookeeper master01:2181 --delete --topic hgpo.llo.prmt.processed 

    Topic hgpo.llo.prmt.processed is already marked for deletion. 

wie das Thema Löschen zu erzwingen?

auf kafka Maschine (Produktionsmaschine), sehen wir, dass: (kein freier Platz)

/dev/sdb 15500450528 15500434144   0 100% /var/kafka 

und unter/var/kafka/kafka-Protokollen finden wir immer noch alle Thema Ordner (große Größe) als Beispiel: (down)

so ist es möglich, diese Ordner als Beispiel zu entfernen, nur - von

rm -rf hgpo.llo.prmt.processed-28 ? 

unter/var/kafka/kafka-logs wir viele Thema Ordner haben wie:

117G hgpo.llo.prmt.processed-28 
117G hgpo.llo.prmt.processed-29 
117G hgpo.llo.prmt.processed-3 
117G hgpo.llo.prmt.processed-30 
117G hgpo.llo.prmt.processed-31 
117G hgpo.llo.prmt.processed-32 

. .

Answer 1

Löschen, wie Sie versucht haben, sollte funktionieren, aber ich rate, dass Kafka nicht gut mit einer vollständigen Festplatte funktioniert.

Da Ihre Festplatte voll ist, nehme ich an, dass Kafka nicht verwendbar ist und eine kurze Ausfallzeit akzeptabel ist. Um das Thema manuell zu löschen:

• Shutdown Kafka
• Auf alle Kafka-Broker, die Replikate für hgpo.llo.prmt.processed haben, gehen, um ihr Datenverzeichnis und löschen Sie die Ordner mit hgpo.llo.prmt.processed- starten.
• Connect mit dem zookeeper-shell Werkzeug Zookeeper
• Run: rmr /brokers/topics/hgpo.llo.prmt.processed
• Restart Kafka

dies wieder geschieht zu vermeiden, empfehle ich Ihnen einen Blick auf die Aufbewahrungsrichtlinien Kafka bietet Festplattennutzung steuern