Probleme mit der Avro-Serialisierung von JSON-Dokumenten fehlende Felder

Question

Ich versuche Apache Avro zu verwenden, um ein Schema für Daten zu implementieren, die von Elastic Search in viele Avro-Dokumente in HDFS exportiert wurden (mit Drill abgefragt werden). Ich habe einige Probleme mit Avro defaults

dieses Schema Gegeben:

{  
    "namespace" : "avrotest",  
    "type" : "record",  
    "name" : "people",                         
    "fields" : [                           
    {"name" : "firstname", "type" : "string"},                   
    {"name" : "age", "type" :"int", "default": -1}                  
    ]                              
} 

Ich würde erwarten, dass ein json Dokument wie {"firstname" : "Jane"} würde für das Alte Feld mit dem Standardwert von -1 serialisiert werden.

default: Ein Standardwert für dieses Feld verwendet, wenn Instanzen Lesen, die dieses Feld fehlt (optional).

Allerdings scheint dies nicht

java -jar avro-tools-1.8.0.jar fromjson --schema-file p2.avsc jane.json > jane.avro 

Exception in thread "main" org.apache.avro.AvroTypeException: Expected int. Got END_OBJECT 
    at org.apache.avro.io.JsonDecoder.error(JsonDecoder.java:697) 
    at org.apache.avro.io.JsonDecoder.readInt(JsonDecoder.java:172) 
    at org.apache.avro.io.ValidatingDecoder.readInt(ValidatingDecoder.java:83) 
    at org.apache.avro.generic.GenericDatumReader.readInt(GenericDatumReader.java:511) 
    at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:182) 
    at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:152) 
    at org.apache.avro.generic.GenericDatumReader.readField(GenericDatumReader.java:240) 
    at org.apache.avro.generic.GenericDatumReader.readRecord(GenericDatumReader.java:230) 
    at org.apache.avro.generic.GenericDatumReader.readWithoutConversion(GenericDatumReader.java:174) 
    at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:152) 
    at org.apache.avro.generic.GenericDatumReader.read(GenericDatumReader.java:144) 
    at org.apache.avro.tool.DataFileWriteTool.run(DataFileWriteTool.java:99) 
    at org.apache.avro.tool.Main.run(Main.java:87) 
    at org.apache.avro.tool.Main.main(Main.java:76) 

Ist dies möglich zu geschehen, oder bin ich etwas fehlt?

Vielen Dank im Voraus

Answer 1

Der Punkt ist, wenn Sie Ihr Feld im Schema wie folgt erklären:

{"name": "fieldName", "type": ["int", "null"], default: null } 

ein Feld wie optional zu verwenden Es ist nicht genug, versuchen Sie es wie folgt erklärt:

{"name": "fieldName", "type": ["null", "int"], default: null }