Hadoop-Cluster - Leistungsunterschied zwischen normaler und sicherer Form von Clustern

Question

Haben wir einen Leistungsunterschied zwischen einem normalen Hadoop-Cluster und einem sicheren Hadoop-Cluster, der mit Kerberos und SSL konfiguriert ist?

Die Konfiguration der Maschine ist für beide Arten von Clustern gleich. Weicht die Zeit für die Ausführung eines Jobs ab? Wenn ja, haben wir irgendwelche bekannten Zeitmetriken bezüglich des Zeitunterschieds? Wie,

• Normale Cluster - 1,5 Stunden
• Sichere Cluster - 2,5 Stunden

Answer 1

Ja. Aufgrund von Kerberos und SSL gibt es einen Overhead in allen API-Aufrufen.

Die Ausführungszeit des Auftrags ist unterschiedlich, aber es gibt keine Möglichkeit zu wissen, wie viel dies ist, ohne zu wissen, wie oft die APIs innerhalb des Auftrags aufgerufen werden. Im Allgemeinen wird die Auswirkung minimal sein, aber da Sie eine andere Netzwerkkomponente in Ihren Workflow (KDC) einführen, können Sie eine signifikante Verschlechterung erfahren, abhängig von der Größe Ihres Clusters und allen Netzwerkproblemen zwischen dem KDC und Ihrem Cluster und dem KDC wurde konfiguriert. Weitere Informationen finden Sie im Folgenden.

https://community.hortonworks.com/questions/31205/performance-impact-of-security-ssl-tde-ranger-kerb.html

https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_scalability.html#kerberos_overhead_cluster_size

HTTP vs HTTPS performance