Snappy nicht verfügbar Fehler auf EMR

Question

Ich bin mit Funken auf EMR mit einem Master und einem Kernknoten, ich bin das Folowing Problem gegenüber:

java.lang.RuntimeException: native snappy library not available: this version of libhadoop was built without snappy support. 

ich die java.library.path auf gesetzt/usr/lib/hadoop/lib/native /:/usr/lib/hadoop-lzo/lib/native/

checknative gibt mir diese auf Master und Kernknoten:

16/04/28 15:03:27 INFO bzip2.Bzip2Factory: Successfully loaded & initialized native-bzip2 library system-native 
16/04/28 15:03:27 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library 
Native library checking: 
hadoop: true /usr/lib/hadoop/lib/native/libhadoop.so.1.0.0 
zlib: true /lib64/libz.so.1 
snappy: true /usr/lib/hadoop/lib/native/libsnappy.so.1 
lz4:  true revision:99 
bzip2: true /lib64/libbz2.so.1 
openssl: true /usr/lib64/libcrypto.so 

EMR VERSION: emr -4.6.0

Hadoop Distribution: Amazon 2.7.2

Anwendungen: Funken 1.6.1

Answer 1

ich endlich die Lösung gefunden, stelle ich die LD_LIBRARY_PATH und es funktioniert jetzt !!

export LD_LIBRARY_PATH=/usr/lib/hadoop/lib/native/ 

Ich habe diese Operation auf allen Knoten. Ich hove es wird jemandem helfen :)!