Upgrade-Pig auf HDInsight-Emulator

Question

Ich verwende derzeit den HDInsight-Hadoop-Emulator, der mit der Pig-Version .12 geliefert wird. Unser Problem beinhaltet das Parsen von XML-Dateien und ich möchte den XPath-Befehl von PiggyBank verwenden, aber es ist nur mit der Pig-Version .13 verfügbar.

a. Kann ich Pig im Emulator aufrüsten? Wie würde ich das machen? b. Ist die Version von Pig wirklich kritisch, oder könnte ich nur die neueste Version der PiggyBank.jar Datei bekommen und diese benutzen?

Answer 1

derzeit gibt es keine Möglichkeit, Komponentenversionen für HDInsight-Emulator zu aktualisieren (oder zumindest ist das sehr schwer zu tun). Ich habe noch nie PiggyBank verwendet, aber von der Einführungsseite (https://cwiki.apache.org/confluence/display/PIG/PiggyBank) scheint es, dass es eine Sammlung von UDFs ist, die mit Pig 0.12 funktionieren sollte. Also ich denke, die Verwendung des Glases direkt (und natürlich, es in Schwein registrieren) sollte funktionieren.

Wir suchen auch eine aktualisierte Geschichte für HDInsight-Emulator - so zögern Sie nicht, uns bei hdivstool bei Microsoft dot com zu erreichen, wenn Sie irgendwelche Gedanken, Kommentare, Anforderungen haben.

Xiaoyong Zhu von HDInsight Team