Polybase-Leistungsprobleme

Question

Ich versuche, meine Hadoop-Cluster (Cloudera) von Polybase 2016 zu verbinden. Wenn ich Hadoop-Cluster von Polybase abfrage, ist die Leistung, die ich bekomme, sehr langsam. Es ist tatsächlich 50 Mal langsamer als lokale SQL Server-Tabellen bei gleicher Datengröße. Hat jemand daran gearbeitet, die Abfrageleistung bei Polybase zu verbessern?

Grüße,

Ritu Ranjan

Answer 1

Das ist erwartetes Verhalten als Polybase Map Code Reduce erzeugt. Map Reduce wird in diesem Stadium als Legacy-Technologie betrachtet. Polybase hat auch verschiedene andere Pushdown-Beschränkungen, z.B. Es drückt keine Joins in Hadoop.