Lokale Fink-Konfiguration läuft eigenständig von IDE

Wenn ich eine Flink-App lokal direkt in Intellij ausführen möchte, aber ich muss config params angeben (wie fs.hdfs.hdfssite, um S3-Zugriff einzurichten), gibt es welche andere Möglichkeit, diese Konfig Params abgesehen von ExecutionEnvironment.createLocalEnvironment(conf) bereitzustellen? Was ist, wenn ich StreamExecutionEnvironment.getExecutionEnvironment verwenden möchte? Kann ich in meinem Projekt eine Flink-Konfiguration haben und auf die lokale App verweisen?Lokale Fink-Konfiguration läuft eigenständig von IDE

Ist dies der richtige Weg? Oder würden Sie Ihre IDE so einrichten, dass die App an eine echte lokale Flink-Instanz gesendet wird?

Quelle

2016-06-10 bibac

Um eine StreamExecutionEnvironment mit Konfigurationsoptionen, verwenden Sie diesen Anruf StreamExecutionEnvironment.createLocalEnvironment(int parallelism, Configuration configuration)

Quelle

2017-02-09 13:28:43

Sie können StreamExecutionEnvironment.getExecutionEnvironment() verwenden - es wird die aktuelle Einstellung herausfinden und bei Ausführung in einer IDE ein "LocalEnvironemnt" zurückgeben.

Daher sollte conf/flink-conf.yaml verwenden, um Ihre Konfigurationswerte festzulegen.

Quelle

2016-06-10 09:36:33

So konnte ich legte einen flink-conf.yaml in meinen Projekten/src/main/resources/conf und die Ausführungsumgebung schaffen würde es finden? – bibac

Nicht sicher ... Ich nehme an, dass 'conf/flink-conf.yaml' in Ihrem IDE-Arbeitsverzeichnis sein sollte. –

@bibac @ matthias-j-sax Kannst du mir sagen, wo ich 'conf/flink-conf.yaml' setzen soll, während ich Fink von IDEA starte? – Grzes

Lokale Fink-Konfiguration läuft eigenständig von IDE

Antwort

Verwandte Themen