Verwenden von "oder" in Spark

Question

Ich bekomme Fehler, wenn Sie "oder" verwenden, um den Datenrahmen zu filtern. Unten ist der Code:

df.select("InvoiceNo","Description").where((col("InvoiceNo") !== 536365) || (col("UnitPrice") > 600)) 

ich versucht mit „oder“ auch, aber die gleichen Fehler.

df.select("InvoiceNo","Description").where((col("InvoiceNo") !== 536365).or(col("UnitPrice") > 600)) 

Fehler:

org.apache.spark.sql.AnalysisException: cannot resolve 'UnitPrice' given input columns: [InvoiceNo, Description] 

Wo könnte ich falsch gemacht habe? Pls Hilfe.

Answer 1

In Bezug auf die relational algebra, wenn Sie eine Auswahl (select) mit Spark-SQL ausführen, engt dies die Spalten nach unten, auf die Sie ausgewählt haben.

Sie können also nicht diejenigen aufrufen, die Sie nicht ausgewählt haben, um eine Projektion durchzuführen (where, filter).

val df2 = df 
.where((col("InvoiceNo") !== 536365).or(col("UnitPrice") > 600)) // projection (π) 
.select("InvoiceNo","Description") // selection (σ) 

Answer 2

Sie haben nur zwei Spalten InvoiceNo, Description ausgewählt, und der Code versucht, basierend auf den von Ihnen ausgewählten Spalten zu filtern, in denen UnitPrice nicht vorhanden ist.

können Sie versuchen, die folgenden:

df.select("InvoiceNo","Description","UnitPrice").where((col("InvoiceNo") !== 536365).or(col("UnitPrice") > 600)) 

Im Fall müssen Sie bestimmte Spalten auswählen möchten, verwenden select nach where.

df.where((col("InvoiceNo") !== 536365).or(col("UnitPrice") > 600)).select("InvoiceNo","Description","UnitPrice")