I hadoop
Quellcode von Github heruntergeladen haben, und mit der native
Option kompiliert:Hadoop nativen Bibliotheken nicht auf OS gefunden/X
mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true
ich dann kopiert die .dylib
Dateien auf die $ HADOOP_HOME/lib
cp -p hadoop-common-project/hadoop-common/target/hadoop-common-2.7.1/lib/native/*.dylib /usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/lib
Die LD_LIBRARY_PATH wurde aktualisiert und neu gestartet hdfs:
echo $LD_LIBRARY_PATH
/usr/local/Cellar/hadoop/2.7.2/libexec/lib:
/usr/local/Cellar/hadoop/2.7.2/libexec/share/hadoop/common/lib:/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home//jre/lib
(Anmerkung: Dies bedeutet auch, dass die Antwort auf Hadoop “Unable to load native-hadoop library for your platform” error on docker-spark? nicht für mich arbeiten ..)
Aber checknative
noch gibt gleichmäßig false
:
$stop-dfs.sh && start-dfs.sh && hadoop checknative
16/06/13 16:12:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Stopping namenodes on [sparkbook]
sparkbook: stopping namenode
localhost: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
16/06/13 16:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/06/13 16:12:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [sparkbook]
sparkbook: starting namenode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-macuser-namenode-sparkbook.out
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-macuser-datanode-sparkbook.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /usr/local/Cellar/hadoop/2.7.2/libexec/logs/hadoop-macuser-secondarynamenode-sparkbook.out
16/06/13 16:13:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/06/13 16:13:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Native library checking:
hadoop: false
zlib: false
snappy: false
lz4: false
bzip2: false
openssl: false
wie/wo Sie die Details der obigen Patch gefunden anzeigt erforderlich waren Bitte aktualisieren Sie die Antwort mit, dass auch die uRL (oder Info, wie man die uRL navigieren) für das? Patch – javadba
@javadba Der Patch kommt von vielen h Unseren, den Code zu lesen, Debugging-Ausgabeanweisungen hinzuzufügen, neu zu kompilieren und es noch einmal zu versuchen ... – andrewdotn
Also ist es *** dein *** Patch ... gut, dass ich mich besser fühle, wenn ich * zum Zeitpunkt, als das aufkam, * gepuncht * habe. – javadba