data-ingestion

0Hitze

1Antwort

Elasticsearch Ingest Pipeline -epoch_millis nach Datum Format

Ich benutze die Reindex-API in ES 5.4.1, und ich muss ein langes Feld (das ein Datum darstellt) in ein Datumsfeld konvertieren. So sieht der Quellindex wie folgt aus: "hits": { "total": 1,

1Hitze

1Antwort

Arbeiten mit großen Dateien mit einer bestimmten Erweiterung mit Verzeichnis-Scan-Operator

Ich habe eine 1GB + Datei von einem MQ in mein Verzeichnis kommen, dauert dies einige Zeit vollständig zu übertragen, aber eine Datei wird in diesem Verzeichnis erstellt, auch wenn Es ist kein vollstä

0Hitze

1Antwort

sqoop Export-Update-Tabelle Datensatz in RDBMS MySQL

So versuche ich ein Update in einer RDBMS-Tabelle in MySQL durchzuführen. Die Sache ist, dass dieses Update von einer Datei in meinem HDFS kommt und obwohl in MySQL die Tabelle mit einem Primärschlüss

1Hitze

2Antwort

Wie speichere ich Spring Boot Logs direkt in elastische

Ich untersuche Machbarkeit von Spring Boot-Anwendungsprotokolle direkt in elastische Suche. Ohne Dateibeats oder Logstash. Ich glaube, dass das Ingest-Plugin dabei helfen kann. Meine ersten Gedanken s

1Hitze

1Antwort

Pandas: zwei Datenrahmen zusammenfassen und sich nicht schneidende Daten von einem einzelnen Datenrahmen

Verlangen halten: Ich möchte eine Art und Weise zwei Datenrahmen zu fusionieren und die nicht durchschnitten von Daten aus einem spezifizierten Datenrahmen zu halten. Problem: Ich habe doppelte Daten

0Hitze

1Antwort

Druide mit Kafka Verschlucken: Filtern von Daten

ist es möglich, Daten während der Einnahme von Kafka zu Druid nach Dimensionswert zu filtern? z.B. Unter Berücksichtigung der Dimension: version, die Werte haben könnte: v1, v2, v3 Ich möchte nur v2 g

0Hitze

3Antwort

Daten mit der GET-Methode in Google BigQuery streamen?

Ich brauche eine gute Lösung, vorzugsweise eine bestehende, wie die Google Rest API, um Daten in BigQuery zu streamen oder einzufügen. Ich möchte die POST-Methode nicht verwenden, um Daten zu senden -

1Hitze

1Antwort

GPFdist einfügen von Flat-Datei löst Fehler 'ungültige Byte-Sequenz für die Codierung "UTF8": 0x00' auf Einfügen

Ich habe ein Problem in einem Prozess Ich schreibe Daten aus einer großen flachen Datei zu erfassen. Ich Vorverarbeitung die flache Datei ein Python-Wrapper mit UTF8 Spezifikationen wie folgt verwende

0Hitze

1Antwort

Wie nehmen Sie Daten aus der Java-Anwendung in BigQuery auf

Ich möchte Daten aus meiner Java-Anwendung in BigQuery einlesen. Gibt es ein Leistungsproblem, wenn wir die BigQuery-API direkt verwenden? Die Anwendung läuft in AWS.

1Hitze

1Antwort

Gobblin - Wie bekomme ich Post von Facebook

Ich habe Gobblin für eine Weile untersucht und derzeit habe ich Schwierigkeiten bei der Verwendung von Gobblin, um Post von Facebook zu erhalten. Ich konnte im Internet kein Verbindungsbeispiel finden