Es ist sehr schlechte Idee, Anrufe von externen Karten innerhalb von Map-Reduce-Jobs zu tätigen. Der Grund dafür ist, dass Ihre Jobs beim Ausführen auf dem Cluster sehr skalierbar sind, während dies beim externen System möglicherweise nicht der Fall ist. Moderne Ressourcenmanager wie YARN machen diese Situation noch schlimmer, wenn Sie ein externes System mit den Anforderungen überschwemmen, die Ihre Aufgaben auf dem Cluster meist schlafend warten und auf eine Antwort vom Server warten. Der Ressourcenmanager wird sehen, dass die CPU nicht von Tasks verwendet wird, und plant mehr Tasks für die Ausführung, wodurch noch mehr Anforderungen an das externe System gestellt werden und die Requests noch mehr überschwemmt werden. Ich habe bescheidene 100 Maschinencluster gesehen, die 100.000 Anfragen pro Sekunde ausgeben.
Was Sie wirklich wollen, ist, entweder die Massen-Daten aus dem Web-Service irgendwie zu erhalten oder ein System mit einer Warteschlange und wenig kontrollierter Anzahl von Arbeitern einzurichten, die mit der eingestellten Rate aus dem externen System ziehen.
Wie für Ihre ursprüngliche Frage, ich denke nicht, PigLatin bietet solchen Service, aber es könnte leicht mit UDFs entweder Python oder Java getan werden. Mit Python können Sie eine ausgezeichnete Bibliothek requests verwenden, die Ihre UDF etwa 6 Zeilen Code macht. Java UDF wird etwas ausführlicher sein, aber nach Java-Standards nichts Schlimmes.
Vielen Dank @Vlad, ich werde die Python-Anfragen-Bibliothek erkunden, wie Sie vorschlagen. – Jon295087