Für Metriken wurde die Gesamtgröße eines Kafka-Themas in Bytes über alle Partitionen und Broker hinweg angezeigt.Größe der Kafka-Themen in Bytes anzeigen
Ich habe lange gesucht, wie dies zu tun ist und ich habe nicht herausgefunden, ob dies möglich ist und wie es geht.
Wir sind auf V0.82 von Kafka.
Sie müssen eine Konfiguration namens retention.bytes auf einer Themenebene überschrieben.
z. in Ihrem Fall sollte es so aussehen, wenn Ihr Thema bereits erstellt:
bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic metrics
--config retention.bytes=1073741824
Darauf achten, dass retention.bytes pro Partition angelegt wird, so wird der gesamte Speicherplatz number of partitions * retention bytes sein.
Für weitere Informationen können Sie dieses Dokument lesen, nach "Retention" suchen. https://kafka.apache.org/082/documentation.html#topic-config https://kafka.apache.org/082/documentation.html#brokerconfigs
Sie können die Partitionsgröße mit dem Skript sehen /bin/kafka-log-dirs.sh
/bin/kafka-log-dirs.sh --describe --bootstrap- server: --topic-list
Ich kann die Aufbewahrungsgröße sehen und was es ist, aber ich möchte überprüfen, was die tatsächliche Größe des Themas ist. Ich denke, dass es möglicherweise nicht möglich ist, und die Überprüfung der Datenverzeichnisse erfordern. –
Ah, sorry, ich habe "set" falsch gelesen anstatt "see". Ich denke nicht, dass es möglich ist, das Beste, was Sie tun können, ist die Zusammenfassung aller 'logs.dir' Größen im Cluster – serejja