Ich versuche, die NachrichtWie loszuwerden "Verwenden von Sparks Standard-log4j-Profil: org/apache/spark/log4j-defaults.properties" Nachricht?
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
wenn ich betreibe meine Spark-App zu unterdrücken. Ich habe die INFO-Nachrichten erfolgreich umgeleitet, diese Nachricht wird jedoch weiterhin angezeigt. Irgendwelche Ideen würden sehr geschätzt werden.
Okay, also habe ich einen Weg gefunden, dies zu tun. Also hatte ich ursprünglich meine eigene log4j.xml, die verwendet wurde, und daher sahen wir diese Eigenschaft. Sobald ich meine eigene Datei "log4j.properties" hatte, ging diese Nachricht verloren.
Dies ist die genaue Lösung, wenn Sie Intellij verwenden. Gut gemacht. Die anderen Antworten funktionierten nicht für mich. –
Können Sie mir bitte einige Details geben, wie Sie aus dem Standard-Log4j-Profil von Using Spark herausgekommen sind: org/apache/spark/log4j-defaults.properties. Ich benutze func 1.6, um den Job auf Garn-Cluser auszuführen. Kann nicht herausfinden, wie log4j in verteilten Umgebungen übergeben wird. Ich habe meine eigene Log4j-Eigenschaft-Datei –
Noch einfacher Sie nur cd SPARK_HOME/conf dann mv log4j.properties.template log4j.properties dann log4j.properties öffnen und alle INFO-ERROR ändern. Hier ist SPARK_HOME das Wurzelverzeichnis Ihrer Spark-Installation.
Einige verwenden möglicherweise hdfs als ihr Spark-Speicher-Back-End und finden die Logging-Nachrichten werden tatsächlich von hdfs generiert. Wechseln Sie dazu in der Datei HADOOP_HOME/etc/hadoop/log4j.properties. Ändern Sie einfach hadoop.root.logger=INFO,console in hadoop.root.logger=ERROR,console. Nochmals HADOOP_HOME ist die Wurzel Ihrer Hadoop-Installation für mich war das /usr/local/hadoop.
Ich musste diese Änderungen anwenden und 'log4j.properties' in' src/main/resources'-Ordner kopieren, damit die Änderungen übernommen werden. –
Interessant, ich frage mich, ob Sie den Funken Master neu gestartet, wenn dies nicht notwendig wäre? – quine
Weiß nicht, aber wahrscheinlich habe ich SBT neu gestartet, in dem Spark lief. –
Fügen Sie den conf-Ordner Ihres Sparks der Variablen CLASSPATH hinzu. – Kaushal
@kaushal Du hast Recht, ich musste etwas ähnliches tun, aber nicht genau, was du hier vorgeschlagen hast, aber ich bin sicher, wenn ich das getan hätte, was du vorgeschlagen hast, wäre diese Nachricht weg. Vielen Dank! – Seagull