Wo sollte Fanout in einem Verschlusssystem auftreten?

Question

Ich versuche, ein IoT-System zu entwerfen, das viele IoT-Geräte verschiedene Arten von Sensordaten an einen Front-End-Lastenausgleichsserver sendet, der die Nachrichten dann an ein Aufnahmesystem (derzeit Google Cloud PubSub) sendet. Dann gibt es Konsumenten, die die Nachrichten konsumieren und sie in verschiedene Datenbanken und Tabellen schreiben. Jeder Sensordatentyp verfügt über eine eigene Datenbank.

Wo sollte ein Fanout erfolgen?

1. VOR PubSub System: Wenn das Frontend der Fanout tut, dann hat es groß genug skaliert werden, um genügend Rechenleistung haben, um den Inhalt jeder Nachricht zu suchen, um herauszufinden, welches Thema es Ende zu senden. Dann werde ich ein separates Thema für jede Nachricht und einen Verbraucher für jedes Thema haben.

   NACH Pubsub-System: Wenn ich nur ein Thema habe, dass das Frontend alle Nachrichten unabhängig von ihrem Typ verschiebt, muss der Consumer dieses Themas skaliert werden, um jede Nachricht konsumieren und verarbeiten zu können um zu schreiben. Dies würde auch bedeuten, dass dieser eine Verbrauchercode Zugriff auf alle Datenbanken haben muss.

2. INSIDE PubSub-System: Lassen Sie pubsub den Fanout ausführen, so dass Publisher zwar nur zu einem Thema veröffentlichen, es jedoch mehrere Subskriptionen für dieses Thema gibt (eins für jeden Datentyp) und jeder Konsument von seinem eigenen Abonnement konsumiert löscht alle Nachrichten, die der Datentyp sind, den sie verbrauchen sollen. Es sieht so aus, als ob Kafka dafür besser geeignet wäre.

Answer 1

Für Geräte und Routing-Daten über Pub/Sub-Anschluss Sie besser durch IoT Core serviert wird, die auch Gerätekonnektivität, Authentifizierung und Überwachung behandelt. Da die Konfiguration der Gerätekonnektivität komplexer ist, wäre es besser, sich auf dem Server zu verteilen. Jetzt ist es am besten, einen Konsumenten für das Pub/Sub-System zu haben, das in jeden Speicher schreibt. Wenn Sie die Verbraucher entkoppeln möchten, können Sie mehrere für jeden Speicher haben, aber Sie müssen Nachrichten "löschen", die nicht benötigt werden. Dataflow kann hierfür mit verwendet werden.