Können mehrere Senken vom selben Kanal lesen oder wie wird Senken von Senken ausgeglichen?

Question

Laut mehreren Quellen, wie Hadoop Application Architecture können mehrere Waschbecken aus dem gleichen Kanal Lesedurchsatz zu erhöhen: A sink can only fetch data from a single channel, but many sinks can fetch data from that same channel. A sink runs in a single thread, which has huge limitations on a single sink—for example, throughput to disk. Assume with HDFS you get 30 MBps to a single disk; if you only have one sink writing to HDFS then all you’re going to get is 30 MBps throughput with that sink. More sinks consuming from the same channel will resolve this bottleneck. The limitation with more sinks should be the network or the CPU. Unless you have a really small cluster, HDFS should never be your bottleneck.

Aber außer diesem gibt es ein Konzept der Spüle Gruppen mit load balancing sink processor. Nach dem article man braucht nicht sink Gruppe zu erstellen, um schnelle Ereignisse verbrauchen: It is important to understand that all sinks within a sink group are not active at the same time; only one of them is sending data at any point in time. Therefore, sink groups should not be used to clear off the channel faster—in this case, multiple sinks should simply be set to operate by themselves with no sink group, and they should be configured to read from the same channel

Also, ich verstehe nicht wirklich, wenn ich Gruppe sinkt mit Load Balancer verwenden sollte, und wenn nur mehr sinkt hinzufügen, das las aus ein bestimmter Kanal.

Answer 1

Mehrere Senken können vom selben Kanal lesen, aber es ist wichtig zu wissen, dass Flume nur garantieren kann, dass jedes Ereignis in mindestens eine Senke geschoben wird, aber nicht in jede angeschlossene Senke. Die Verarbeitungsgeschwindigkeiten dieser Senken sind unterschiedlich, und es ist nicht vorhersehbar, auf welche Senken ein Ereignis geschoben wird. Wenn Sie mehrere Senken benötigen, um vom gleichen Kanal zu lesen, verwenden Sie immer Failover- oder Load-Balancing-Sink-Prozessoren.