Ich versuche, Datensätze aus HBase-Tabelle in meinem Java-Mapper zu lesen. Ich möchte den letzten Datensatz ermitteln, um eine Operation auszuführen. Wie können wir den letzten Datensatz identifizieren? Ich habe einen Zero Reducer. Ich kann nicht alle Aufzeichnungen im Speicher halten.Wie der letzte Datensatz in Mapper beim Abrufen von Daten aus HBase zu erkennen ist Tabelle
Antwort
Sie können bestimmen, wann ein Mapper seinen endgültigen Datensatz verarbeitet hat, wenn er seine Bereinigungs Methode aufruft:
cleanup(org.apache.hadoop.mapreduce.Mapper.Context context)
https://hadoop.apache.org/docs/r2.6.2/api/org/apache/hadoop/mapreduce/Mapper.html
Dies gibt Ihnen die Möglichkeit, bestimmen per-Mapper, wenn es hat verarbeitet alle seine Schlüssel/Werte und ergreifen einige Maßnahmen.
Wenn Sie versuchen, zu aggregieren, ohne eine Reduzierungsstufe zu verwenden, und Sie HBase lesen, würde ich annehmen, dass Sie einige Garantien über die Gruppierungen der Daten haben, die auch helfen würden. Zum Beispiel könnten Sie nach einer Änderung des Schlüssels suchen, indem Sie einen Mapper eingeben, und Sie würden wissen, dass Sie alle Schlüssel erhalten haben, die gleich sind.
Ich habe Cleanup-Methode überschrieben und es hat funktioniert. Danke @Binary Nerd –
- 1. HBase Datensatz verloren beim Schließen
- 2. Hadoop - Schreiben in HBase direkt vom Mapper
- 3. Exportieren von Daten aus der HBase-Shell
- 4. Nicht definiert beim Abrufen von Daten aus Tabelle mit Jquery
- 5. Können wir alle Spaltennamen aus einer HBase-Tabelle abrufen?
- 6. Aktualisieren Sie eine Spalte beim Abrufen von Datensatz aus der gleichen Tabelle n Postgres
- 7. Der letzte Datensatz wurde aus Formel
- 8. Abrufen von Daten aus der Tabelle mit Hibernate
- 9. Abrufen von Daten aus alternativer Spalte in SQL-Tabelle
- 10. Fehler beim Abrufen von Daten aus MongoDB
- 11. HBase Fehler beim Erstellen Tabelle
- 12. Zurückgeben von Aggregationen aus HBASE-Daten
- 13. Sicherste Weise letzte Datensatz-ID aus einer Tabelle
- 14. Abrufen von NoServerForRegionException: Beim Versuch, aus MySQL in HBase zu importieren, konnte keine Region gefunden werden
- 15. Problem beim Abrufen von Daten aus Ruhezustand viele zu viele Beziehung
- 16. Abrufen der Daten aus einmehrdeutige Beziehung Schiff aus derselben Tabelle
- 17. Abrufen von JSON-Daten aus der Redshift-Tabelle
- 18. Fehler beim Abrufen von Daten aus der Datenbank, Datenbankanbietercode 9421
- 19. Fehler beim Abrufen von IdentityUser-Daten aus der Azure-Datenbank
- 20. Wie lese ich Daten von Hbase?
- 21. Paginierungssteuerelemente, die beim Abrufen von Daten aus dem Backend nicht in der ng-Tabelle angezeigt werden
- 22. Wie letzte Datensatz (unter der Bedingung) löschen aus einer Tabelle in MySql
- 23. Datensatz zu einer Tabelle in der Datenbank
- 24. Abrufen von Daten aus DB
- 25. Beim Abrufen von Daten aus der Vervollständigung Statement-Variablen leer
- 26. Wie kann ich Daten aus der Hbase-Tabelle in Spark lesen?
- 27. Aktuellen Eintrag in Tabelle abrufen. Letzte Zeile in der Datenbanktabelle
- 28. Mehr Wartezeit beim Abrufen von Daten aus der Datenbanktabelle mit großen Daten in PHP
- 29. Probleme beim Abrufen von Daten aus OnRowCommand von einem GridViews
- 30. Fehler beim Abrufen von Daten aus SQlite in Android Studio
Können Sie Ihren Anwendungsfall ein wenig mehr erarbeiten. Was versuchst du zu erreichen? Möchten Sie den letzten Datensatz in * jedem * Mapper oder letzten Datensatz * aller * Mapper finden. (Natürlich ist das eine falsche Richtung) – Shyam
Ich versuche Datensatz für Datensatz zu lesen und Aggregationen durchzuführen, indem ich die Datensätze gruppiere. –
@BalakrishnaD, beantwortet Ihre Antwort nicht wirklich Shyams Frage –