Typenkonfliktfehler für Filterfunktion mit dplyr über einen Spark-Datenrahmen

Question

Ich arbeite gerade an Rstudio über einen Rhel-Cluster. Ich benutze Funken 2.0.2 über ein Garn-Client & die folgenden Versionen von sparklyr & dplyr

sparklyr_0.5.4 installiert haben; dplyr_0.5.0

Ein einfacher Test auf den folgenden Zeilen ergibt Fehler

data = copy_to(sc, iris) 
filter(data , Sepal_Length >5) 

Error in filter(data, Sepal_Length > 5) : 
(list) object cannot be coerced to type 'double' 

ich mit der geprüft lesen & alle gut aussieht

head(data) 
Source: query [6 x 5] 
Database: spark connection master=yarn-client app=sparklyr local=FALSE 

Sepal_Length Sepal_Width Petal_Length Petal_Width Species 
    <dbl>  <dbl>  <dbl>  <dbl> <chr> 
1 5.1   3.5   1.4   0.2 setosa 
2 4.9   3.0   1.4   0.2 setosa 
3 4.7   3.2   1.3   0.2 setosa 
4 4.6   3.1   1.5   0.2 setosa 
5 5.0   3.6   1.4   0.2 setosa 
6 5.4   3.9   1.7   0.4 setosa 

dies ist ein bekannter Fehler & sind dort bekannt behebt dies?

Answer 1

Es ist kein Fehler. Sie müssen angeben, dass Sie die filter-Funktion aus dem dplyr-Paket verwenden möchten. Wahrscheinlich verwenden Sie die filter Funktion aus dem stats Paket. Deshalb bekommst du diesen Fehler. Sie können die richtige Version mit diesem fest: dplyr::filter

res <- dplyr::filter(data, Sepal_Length > 5) %>% dplyr::collect() 
head(res) 
# A tibble: 6 x 5 
    Sepal_Length Sepal_Width Petal_Length Petal_Width Species 
     <dbl>  <dbl>  <dbl>  <dbl> <chr> 
1   5.1   3.5   1.4   0.2 setosa 
2   5.4   3.9   1.7   0.4 setosa 
3   5.4   3.7   1.5   0.2 setosa 
4   5.8   4.0   1.2   0.2 setosa 
5   5.7   4.4   1.5   0.4 setosa 
6   5.4   3.9   1.3   0.4 setosa 

Um sicher zu sein, in der RStudio Konsole, geben Sie einfach filter (oder eine andere Funktion) und überprüfen Sie die Popup mit dem Funktionsnamen, die angezeigt wird. Auf der rechten Seite können Sie das Paket sehen, das verwendet wird, wenn Sie das Paket nicht explizit mit :: benennen.