aws-glue

1Hitze

3Antwort

Können wir AWS Glue verwenden, kopieren Sie einfach eine Datei von einem S3-Ordner in einen anderen S3-Ordner?

Ich muss eine gezippte Datei von einem AWS S3-Ordner in einen anderen kopieren und möchte einen geplanten AWS Glue-Job erstellen. Ich kann kein Beispiel für solch eine einfache Aufgabe finden. Bitte h

2Hitze

2Antwort

Wie verbessert man die Leistung von AWS Glue?

Ich habe einen einfachen Job in AWS, der mehr als 25 Minuten dauert. Ich habe die Anzahl der DPUs von 10 auf 100 geändert (das Maximum ist erlaubt), der Job dauert noch 13 Minuten. Weitere Vorschläge

1Hitze

2Antwort

Einfacher ETL-Auftrag in AWS Glue sagt "Datei existiert bereits"

Wir evaluieren AWS Glue für ein Big Data-Projekt mit ETL. Wir haben einen Crawler hinzugefügt, der eine CSV-Datei von S3 korrekt aufnimmt. Zu Beginn möchten wir diese CSV-Datei einfach in JSON transfo

2Hitze

1Antwort

AWS Glue transformieren eine Struktur in Dynamicframe

Ich bin ein wenig neu zu AWSGlue. Ich arbeite daran, eine rohe cloudwatch json mit AWSGlue in csv umzuwandeln. Das Transformations-Skript ist ziemlich geradlinig, jedoch scheinen Dokumentation und Bei

1Hitze

2Antwort

Wie erhalte ich Zugang zum Athena/Glue Katalog für meine Athena Tische in eu-west-1 über boto3?

Ich muss einen Job schreiben, der Daten aus meinem Athena-Datenkatalog verwendet. Ich benutze Python und Boto3. Seit Kleber freigegeben wurde, scheint es, ich meine Daten Katalog über Kleber APIs Code

1Hitze

1Antwort

AWS Kleber kopiert die gesamten Daten von Quelle zu Ziel jedes Mal, auch wenn es ein Lesezeichen gibt

Ich habe einen Kleber Auftrag vom Assistenten in der AWS Leimkonsole generiert. Ich habe das Standardskript bei der Erstellung der Aufgabe nicht geändert. Es nimmt Daten aus einer Posgres-Datenbanktab

0Hitze

1Antwort

AWS-Kleber: Wie man jdbc-Quelle über Funkenobjekt in SCALA liest.

Ich versuche Folgendes zu tun. Lesen Sie die Daten aus einer Datenbank über JDBC. In pyspark konnte ich dies mit der folgenden Syntax tun. import sys from awsglue.transforms import * from awsglue.ut

1Hitze

1Antwort

Boto3 Athena zeigt nicht alle Tabellen

versucht, eine Liste der Tabellennamen in Athena Table mit BOTO3 Python zu erhalten. dies ist mein Code; Ich denke, meine Versuche, Paginator zu machen, sind nicht korrekt. Jede Hilfe wird geschätzt.

0Hitze

2Antwort

Wie wird der AWS Glue-Crawler dazu gebracht, eine Rolle in einem anderen AWS-Konto zu übernehmen, um Daten aus dem S3-Bucket dieses Kontos abzurufen?

Es gibt einige CSV-Datendateien, die ich in S3-Buckets abrufen muss, die zu einer Reihe von AWS-Konten gehören, die einem Drittanbieter gehören. Der Besitzer der anderen Konten hat in jedem der Konten

0Hitze

2Antwort

AWS Glue create Trigger über API

Ich habe eine Tabelle, die wenige Zeitpläne für verschiedene Jobs enthält. Ich möchte die Datensätze verarbeiten und Triggers über AWS Glue API erstellen. http://docs.aws.amazon.com/glue/latest/dg/aws