Apache Flink löst UnknownHostException auf Cluster

Question

Ich habe ein Flink-Projekt, das mit NIFI verbindet, um Daten zu ziehen. Die Einstellung zum Abrufen des Datenstroms funktioniert gut, wenn er lokal ausgeführt wird.

.url("http://1.2.3.4:8080/nifi") 
      .portName("MyPortName") 
      .requestBatchCount(5) 
      .buildConfig(); 

Aber wenn ich die .jar an den Remote-Cluster hinzufügen und den Auftrag ausführen es wirft dies:

java.net.UnknownHostException 
at sun.nio.ch.Net.translateException(Net.java:177) 
at sun.nio.ch.SocketAdaptor.connect(SocketAdaptor.java:127) 
at org.apache.nifi.remote.client.socket.EndpointConnectionPool.establishSiteToSiteConnection(EndpointConnectionPool.java:712) 
at org.apache.nifi.remote.client.socket.EndpointConnectionPool.establishSiteToSiteConnection(EndpointConnectionPool.java:685) 
at org.apache.nifi.remote.client.socket.EndpointConnectionPool.getEndpointConnection(EndpointConnectionPool.java:301) 
at org.apache.nifi.remote.client.socket.SocketClient.createTransaction(SocketClient.java:129) 
at org.apache.flink.streaming.connectors.nifi.NiFiSource.run(NiFiSource.java:90) 
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:78) 
at org.apache.flink.streaming.api.operators.StreamSource.run(StreamSource.java:55) 
at org.apache.flink.streaming.runtime.tasks.SourceStreamTask.run(SourceStreamTask.java:56) 
at org.apache.flink.streaming.runtime.tasks.StoppableSourceStreamTask.run(StoppableSourceStreamTask.java:39) 
at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:272) 
at org.apache.flink.runtime.taskmanager.Task.run(Task.java:655) 
at java.lang.Thread.run(Thread.java:745) 

Der einzige Grund, warum ich für ein Unknown finden kann, ist, dass es, weil die IP ist von Der Hostname kann nicht aufgelöst werden, aber ich gebe die IP bereits. Es gab ein Problem früher, da es keine Verbindung zu Nifi herstellen konnte, da ich festlegen muss, welche IP auf die Nifi-Instanz zugreifen darf. Also habe ich den AWS-Server als erlaubt hinzugefügt und es behoben, aber offensichtlich habe ich das jetzt.

Jede Hilfe wird sehr geschätzt!

Answer 1

Ich dachte, das Problem. Ich hatte meinen Nifi-Cluster und meinen Flink-Cluster in verschiedenen Regionen. Der Flink-Cluster wurde in dieselbe Region verschoben und die öffentliche oder private URL für den Cluster verwendet.