Kafka Speicherbedarf

Question

Ich bin ein Anfänger KAFKA

Wir suchen unseren kafka Cluster (5 Knoten-Cluster) für die Verarbeitung von 17.000 Ereignissen/sec bei jeder Veranstaltung in der Größe von 600bytes für die Dimensionierung. Wir sind für eine Woche lesen

ich überall in der kafka Dokumentation Seite

assuming you want to be able to buffer for 30 seconds and 
compute your memory need as write_throughput*30. 

so was dieses schreiben ist eine Replikation von 3 und Speicherung von Ereignissen planen? wenn die Zahl der MB pro Sekunde - ich bin auf der Suche 9960MB/Sec

if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30) 

so was ist die 292GB darstellen Speicherbedarf für einen Knoten oder den gesamten Cluster (5 Knoten)

Ich würde wirklich zu schätzen einige Einblicke in die Größe von Speicher und Festplatte.

Grüße VB

Answer 1

Wenn Ihre Nachrichtengröße ist 600 Bytes mit 17k msg/s, dann wäre Ihr Durchsatz sein ~ 10MB/s [* 600 17000/(1024 * 1024)]. Wenn Sie das Thema partitionieren und die 5 Broker verwenden, würden Sie bei 3 Replikaten 10/5 * 3 = 6MB/s pro Broker für die Pufferung benötigen, was auf keiner normalen Hardware ein Problem darstellen sollte. Das Puffern von 30s würde 180 MB Speicher bedeuten.

In dem Fall, dass Sie eine Nachrichtengröße von 600kB gemeint haben, dann müssten Sie schauen, viel sehr schnellen Speicher hinzufügen, um 6GB/s zu erreichen und eigentlich wäre es besser, die Anzahl der Knoten des Clusters zu erhöhen stattdessen.