Installierte Cloudera VM und geladene Datendatei in HDFS. Der Befehl "hadoop fs -ls /" hilft mir, die Daten in hdfs zu verifizieren. Aber möchten Sie den physischen Standort wissen, in dem es sich befindet?Cloudera Hadoop VM 5.10 - HDFS-Pfad finden?
jeder Vorschlag würde helfen.
Die physischen Daten sollen nicht von einem Nicht-HDFS-Superuser-Konto gelesen werden können.
Außerdem ist es nicht als einfacher Text (oder was auch immer Sie hochgeladen haben) von jedem nicht HDFS-Prozess lesbar. Der physische Speicherort speichert die HDFS-Blöcke der Originaldatei.
Sie können die physischen Datenträgerbereitstellungspunkte immer in der hdfs-site.xml Konfigurationsdatei unter dfs.datanode.data.dir finden. Das Namensknoten-Datenverzeichnis ist jedoch ebenfalls wichtig.
Danke @ cricket_007.Möchte wissen \ sehen, wie die Datei die Daten aufteilt, wenn sie größer als 128 mb \ 64 mb ist .. gibt es noch andere, die wir visuell sehen? –
Visuell? Nicht wirklich. Aber die Anzahl der Karten Aufgaben, die direkt erstellt wurden, entsprechen der Anzahl der Eingabeaufteilungen (vorausgesetzt, die Eingabedaten können geteilt werden) –
Physikalisch ging dieser Ort /var/lib/hadoop-hdfs/cache/${user.name}/dfs/data (die Konfiguration in dfs.datanode.data.dir Namen konfiguriert. Erhalten der Berechtigung verweigert. Jeder Vorschlag. –