Beim Importieren in BigQuery - JSON-Tabelle gefunden

Ich bin eine Reihe von Tabellen in BigQuery von Mysql mit Spark und eine einfache Wrapper-Bibliothek von den Leuten bei AppFlyer (https://github.com/appsflyer-dev/spark-bigquery) erstellt synchronisiert. Dieser Ansatz funktioniert wie ein Zauber für alle meine Tische außer einem. Beim Importieren dieser Tabelle erhalte ich den folgenden Fehler von BigQuery zurück:Beim Importieren in BigQuery - JSON-Tabelle gefunden

Ausnahme im Thread "Haupt" java.io.IOException: JSON-Tabelle aufgetreten zu viele Fehler, aufgeben. Zeilen: 1; Fehler: 1. bei com.google.cloud.hadoop.io.bigquery.BigQueryUtils.waitForJobCompletion (BigQueryUtils.java:95) bei com.appsflyer.spark.bigquery.BigQueryClient.com $ appsflyer $ Funken $ BigQuery $ BigQueryClient $$ waitForJob (BigQueryClient.scala: 129) bei com.appsflyer.spark.bigquery.BigQueryClient.load (BigQueryClient.scala: 100)

Das Tabellenschema auf der Seite Mysql wie folgt aussieht:

CREATE TABLE mytable (
    id bigint(20) unsigned NOT NULL AUTO_INCREMENT, 
    field1_id int(11) NOT NULL, 
    created_at datetime(6) DEFAULT NULL, 
    updated_at datetime(6) DEFAULT NULL, 
    field2_id int(11) NOT NULL, 
    hidden_at datetime(6) DEFAULT NULL, 
    deleted_at datetime(6) DEFAULT NULL, 
    field3 tinyint(4) NOT NULL, 
    field4 tinyint(1) DEFAULT '1', 
    PRIMARY KEY (id), 
) ENGINE=InnoDB AUTO_INCREMENT=10193389 DEFAULT CHARSET=utf8mb4;

Ich verstehe nicht, was diese eine t in der Lage ist, ein Problem zu verursachen.

Quelle

2017-02-16 Mark

verwandte: https://code.google.com/p/google-bigquery/issues/detail?id=530 – Pentium10

http://stackoverflow.com/questions/36586472/google-big-query-error-csv -table-article-too-many-errors-give-up-row-1 – Pentium10

ohne zu sehen, was die Nutzlast ist, wenn der API-Aufruf ausgeführt wird, ist es schwierig, einen Fehler in einer Conversion-App zu identifizieren. – Pentium10

Problem gelöst - Es gab eine Diskrepanz zwischen der JSON-Tabellenbeschreibung, die gesendet wurde, und dem JSON, der die gesendeten Daten darstellt. Dies wurde mit diesem PR behoben:

https://github.com/appsflyer-dev/spark-bigquery/pull/8

Der Code wurde eine Tabelle mit einer Spalte des Typs Text zu schaffen, sondern die Spark JSONizer die Daten als numerische codiert. Der Tabellenimport von BigQuery ist mit dem angegebenen Fehler fehlgeschlagen. Ein besserer Fehler wäre schön gewesen.

Quelle

2017-02-22 05:28:35 Mark

Beim Importieren in BigQuery - JSON-Tabelle gefunden

Antwort

Verwandte Themen