Gibt es eine äquivalente Methode zur pandas info() Methode in PySpark?Pyspark: Gibt es eine äquivalente Methode zu Pandas info()?
Ich versuche, grundlegende Statistiken über einen Datenrahmen in PySpark, wie zu gewinnen: Anzahl der Spalten und Zeilen Anzahl der Nullen Größe von Datenrahmen
Info() -Methode in Pandas bietet all diese Statistiken.
Um Typinformationen über Datenrahmen herauszufinden Sie df.schema
spark.read.csv('matchCount.csv',header=True).schema
StructType(List(StructField(categ,StringType,true),StructField(minv,StringType,true),StructField(maxv,StringType,true),StructField(counts,StringType,true),StructField(cutoff,StringType,true)))
Für Summenstatistik- versuchen könnten Sie auch einen Blick auf beschreiben Verfahren aus der Dokumentation haben könnte.
printSchema() wird Ihnen eine leichter zu lesende Version der gleichen Informationen geben. – RyanW