Große Datenverarbeitung in Java

Question

Ich arbeite an einem Projekt, wo ich irgendwo 10 Dateien mit einer Größe von jeweils 200 GB erhalte. Meine Projektanforderung besteht darin, Daten aus jeder Datei zu extrahieren und die Verbindung mit anderen Dateien herzustellen und die Daten zu extrahieren.

E.G wie ich habe Datei 1.txt, wo ich Konto-ID habe und ich habe Datei 2.txt, wo ich Konto-ID und Account-Name. Auf der Basis der Account-ID aus der ersten Datei muss ich die Daten aus der zweiten Datei extrahieren.

Auf diese Weise muss ich die Manipulation an jeder der 10 Dateien durchführen und endgültige Ausgabedateien erstellen.

Ich mache dies derzeit in Java, die wirklich Zeit ist, Prozess zu nehmen. Es dauert ungefähr 4 bis 5 Stunden.

Kann ich meine Leistung bei jeder Änderung erhöhen? Gibt es eine Technologie oder ein Tool oder Framework, das ich in Java integrieren kann und meine Leistung steigern kann?

Ich habe folgende Ansätze verwendet.

1) Apache Drill- Ich führe eine Join-Abfragen Ergebnis: Drill ist Drillbit Down-Ausnahme als Dateigröße ist zu viel.

2) Apache Beam- Ich führe das Verbinden von Dateien mit Parallelverarbeitung durch. Ergebnis: Es gibt mir Out of Memory-Ausnahme bei Gruppe nach Feature.

Ich lese diese Daten von hadoop.

Answer 1

Ich würde vorschlagen, Hadoop und Spark zu verwenden, da Spark In-Memory-Modell verwendet, das schneller als Map Reduce ist. Vielleicht diese beiden Links werden Ihnen helfen:

https://content.pivotal.io/blog/3-key-capabilities-necessary-for-text-analytics-natural-language-processing-in-the-era-of-big-data

https://community.hortonworks.com/articles/84781/spark-text-analytics-uncovering-data-driven-topics.html