Ich bereite Spark mit Python-Programm, das Daten aus 2 Tabellen basierend auf Joins einfügt. Die letzte Spalte der Zieltabelle hat ein Zeitstempelfeld mit dem Wert create timestamp.Pyspark: Getting current_timestamp in dynamischen Bienenstock Abfrage
Ich versuchte current_timestamp und from_unitime (unix_timestamp()). Beide Funktionen scheinen nicht zu funktionieren. Ich habe es jetzt versucht().
zB HiveContext (sc) .sql ("SELECT" + FROM_UNIXTIME (unix_timestamp()) + "„) Diese Anweisung Fehler in pyspark mit "Nameerror: name 'FROM_UNIXTIME' nicht definiert ist" Ich habe die pyspark importiert .sql.function
Gibt es eine Möglichkeit, Zeitstempelwert in die Zieltabelle einzufügen? Meine Abfrage enthält Einfügen mit Auswahl aus 2 Tabellen, die ich in HiveContext ausführen.
Vielen Dank im Voraus !!!
ich den Code unten versucht, und ich bin immer: Typeerror: 'Column' -Objekt ist nicht aufrufbar import pyspark.sql.functions as func HiveContext (sc) .sql ("SELECT" + func.from_unitime (func.unix_timestamp()) + ""). Könnte jemand sagen, was mit dieser Abfrage falsch ist. Vielen Dank!!! – Aavik