Was ist der beste Ansatz für eine große Anzahl gleichzeitig ablaufender Zuordnungen?

Question

Ich versuche herauszufinden, was der beste Ansatz für das folgende Problem wäre?

Bedingungen:

1. Sie haben einen Fluss von Daten mit einer unterschiedlichen Geschwindigkeit in einen Cache-Speicher fließt, hält der Cache die zuletzt N Menuette von Daten.
2. Der Fluss von Daten müssen so schnell wie möglich zu analysieren
3. Sie haben über 10.000 unterschiedliche Kartenfunktionen reduzieren, die in mindestens 1.000.000 Eimer

Frage zu aggregieren hat: es ist eine gute Idee, 10k kontinuierliche Mapper zu drehen oder gibt es einen besseren Weg?

Vielen Dank für Hilfe

Answer 1

Dies auch auf Apache Ignite User-Forum diskutiert wird: http://apache-ignite-users.70518.x6.nabble.com/What-is-the-best-approach-for-large-number-of-concurrent-mappings-td11445.html