Lesen Sqoop bissig Daten-Datei mit pyspark SQL in Datenrahmen komprimiert

Question

Ich bin mit Cloudera VM 5.8 einen Fehler bekommen, während Sqoop importiert Avro-Datei zu lesen, komprimiert mit bissig-Codec

conf = (SparkConf().setMaster("local").setAppName("anoterApp1").set("spark.executor.memory", "1g")) 
sc=SparkContext(conf= conf) 
sqlc = SQLContext(sc) 
df = sqlc.read.format("com.databricks.spark.avro").load("/sqoopimported/avro/compressed/directorypath") 

getting following error: py4j.protocol.Py4JJavaError: An error occurred while calling o266.load.

der Code funktioniert gut, wenn ich Komprimieren nicht die Datei mit bissig-Codec

Answer 1

versuchen Sie, diese Konfiguration

spark.conf.set("spark.sql.avro.compression.codec", "snappy") 

Auch kann diese doc

https://docs.databricks.com/spark/latest/data-sources/read-avro.html

nützlich sein