1
Von dem, was ich in diesem Beispiel gesehen habe, ist es nur über Gson machbar. Ist es möglich, Avro-Objekte über den Spark Connector direkt in eine BigQuery-Tabelle zu laden? Die Konvertierung von Avro nach BigQuery Json wird zu einem Problem, wenn die Avro-Spezifikation anfängt, über einfache Grundwerte hinauszugehen. (Z Unions)Avro über den Spark Connector in BigQuery laden
Prost
Danke, ich denke, das funktioniert. Da Google jedoch die Avro C++ - Bibliothek verwendet, gibt es höchstwahrscheinlich Vorbehalte, auf die ich bereits hingewiesen habe. Weißt du, ob das irgendwo dokumentiert ist? Die meisten meiner Spalten sind primitive Typen mit einigen Vereinigungen. Ich verwende auch das Snappy-Komprimierungsformat. –
Ich bin mir nicht sicher, auf welche Vorbehalte Sie stoßen, aber im Allgemeinen werden primitive Typen und Snappy-Komprimierung unterstützt. Bei konkreten Problemen ist es am besten, unter https://code.google.com/p/google-bigquery/ –
Fehler zu melden. Alle Avro-Datentypen werden von der C++ - Bibliothek und auch in BQ unterstützt (mit einigen Konvertierungen, z. B. behoben zu Bytes). Sie haben Recht, dass mit snappy komprimierte Datenblöcke nicht unterstützt werden. Deflate ist der einzige von der C++ - Bibliothek unterstützte Codec. –