SSH-Zugang für den Headnode von FIWARE-Cosmos

Question

Ich folge this Leitfaden auf Hadoop/FIWARE-Cosmos und ich habe eine Frage über den Hive-Teil.

Ich kann den Headnode des alten Clusters (cosmos.lab.fiware.org) über SSH zugreifen, aber ich kann es nicht für den neuen Cluster tun. Ich probierte beide storage.cosmos.lab.fiware.org und computing.cosmos.lab.fiware.org und konnte nicht verbinden.

Meine Absicht beim Versuch, eine Verbindung über SSH herzustellen, bestand darin, Hive-Abfragen auf unseren Daten über die Hive-CLI zu testen. Nachdem ich dies nicht getan hatte, überprüfte ich und konnte mit Telnet eine Verbindung zum 10000-Port von computing.cosmos.lab.fiware.org herstellen. Ich schätze, Hive wird durch diesen Hafen bedient. Können wir Hive nur im neuen Cluster verwenden?

Answer 1

Das neue Clusterpaar hat den ssh-Zugriff nicht aktiviert. Dies liegt daran, dass Benutzer im "alten" Cluster, in dem der SSH-Zugriff aktiviert ist, wie Sie es nennen, eine Menge Dinge (auch nicht mit Big Data) installieren. Daher sollte das neue Clusterpaar nur über die bereitgestellten APIs verwendet werden: WebHDFS für Daten-I/O und Tidoop für MapReduce.

Da wird gesagt, dass ein Hive-Server auch läuft und es sollte einen Remote-Service im 10000-Port offen legen, wie Sie auch erwähnen. Ich sage "es sollte sein", weil es ein experimentelles Authentifizierungsmodul ausführt, das auf OAuth2 basiert, wie es WebHDFS und Tidoop tun. Theoretisch ist die Verbindung zu diesem Port von einem Hive-Client so einfach wie die Verwendung Ihres Cosmos-Benutzernamens und eines gültigen Token (das gleiche, das Sie für WebHDFS und/oder Tidoop verwenden).

Und was ist mit einem Hive-Remote-Client? Nun, das sollte Ihre Anwendung implementieren. Wie auch immer, ich habe einige Implementierungsbeispiele in das Cosmos Repo hochgeladen. Zum Beispiel:

https://github.com/telefonicaid/fiware-cosmos/tree/develop/resources/java/hiveserver2-client