Ich suche nach Ressourcen für eine AWS-basierte Datenaufnahme-Pipeline, die Kafka, Storm, Spark (Streaming und Batch) verwendet, die von Hbase lesen und schreiben Micro-Services zur Belichtung der Datenschicht. Für mein lokales env denke ich daran, entweder docker oder vagrant Bilder zu erstellen, die es mir ermöglichen, mit dem env zu interagieren. Meine Frage wird, wie man etwas für eine funktionale End-to-End-Umgebung aufstehen kann, die näher an der Spitze ist, der totale Weg wäre, eine ständig aktive Umgebung zu haben, aber das wird teuer. In Bezug auf eine Perf-Umgebung scheint es ähnlich, als müsste ich Dienst-Accounts erstellen und haben, die den 'Lauf der Welt' haben können, aber andere Accounts, die durch Rechenressourcen begrenzt werden, so dass sie den Cluster nicht überwältigen .Big Data-Integrationstest Best Practice
Ich bin gespannt, wie andere das gleiche Problem behandelt haben und ob ich rückwärts darüber nachdenke.