Multi-Region Apache Kafka und Tierpfleger in Autoscaling-Gruppe in AWS

Question

Ich habe im Internet nach Architektur zum Einrichten von Apache Kafka/Tierpfleger-Combo in einer Autoscaling-Gruppe in mehreren Regionen in AWS gesucht.

Kann jemand so etwas einrichten? Alle Herausforderungen und Lösungen für diese Herausforderungen. Welche Kompromisse gab es bei dieser Art von Setup?

Das große Problem bei der automatischen Skalierung besteht darin, Konfigurationsdateien dynamisch aktualisieren zu können. AWS ist auch nicht in der Lage, zu helfen, da selbst bei Verwendung von erstellten Netzwerkschnittstellen (eni) keine Möglichkeit besteht, die Startkonfiguration zu steuern, um enis zu verwenden, wenn automatische Skalierungsgruppen verwendet werden.

Wie verwalten Sie auch Konfigurationsdateien?

Haben Sie einfach diese Fragen und nirgendwo sonst kann ich mir vorstellen, eine Frage wie diese zu stellen. Wenn dies falsch ist, lass es mich wissen und bitte schlage einen Platz vor um eine Frage wie diese zu stellen.

Dank

Answer 1

Autoskalierung ist keine gute Idee für Tierpfleger und es kann für Kafka Makler als auch schwierig sein. Andere Kafka-Komponenten, wie Kafka Streams, funktionieren jedoch hervorragend mit der automatischen Skalierung.

Confluent verfügt über einige Tools zur Unterstützung von AWS Cloud Formation-Vorlagen, einem Tool zum automatischen Datenausgleich und vielen Empfehlungen zum Einrichten von AWS-Verfügbarkeitszonen (mit Rack-Erkennung) und Regionen (mit Replikator).

dieses Blogs über die besten Praktiken https://www.confluent.io/blog/design-and-deployment-considerations-for-deploying-apache-kafka-on-aws/

dieses Quick Siehe für die Bereitstellung Vorlagen https://aws.amazon.com/quickstart/architecture/confluent-platform/