Berechnen und Steuern der Anzahl der Mapper von Hive Abfrage

Question

Ich habe eine Hive-Tabelle t1, die 104 Dateien hat. Von den 104 Dateien ist 1 Datei 61 MB und die verbleibenden 103 Dateien sind weniger als 1 MB. Wenn ich die Abfrage ausfühle, werden die Mapper zusammen mit 1 Reduzierer ausgeführt. Ich versuche herauszufinden, warum 29 Mapper und wie kann man die Anzahl der Mapper reduzieren?

mapreduce.input.fileinputformat.split.maxsize=256MB 
mapreduce.input.fileinputformat.split.maxsize=1kb 

Dank

Answer 1

Versuchen Sie, die Mapper Einstellung unter Optionen

Satz mapred.map.tasks = 20;

überprüfen Sie auch die gesamten Blöcke Ihrer Daten.

hdfs dfs -du -h -s/apps/Nest/Lager //

Jeder Block wird unabhängig verarbeitet werden. Jeder Mapper kann basierend auf den von Ihnen eingestellten Mapper-Nummern mehrere Blöcke verarbeiten.