Ist es notwendig, kategorische Attribute in numerische Attribute umzuwandeln, um die LabeledPoint-Funktion in Pyspark zu verwenden?

Question

Ich bin neu in Pyspark. Ich habe ein Dataset, das kategorische Features enthält, und ich möchte Regressionsmodelle von Pyspark verwenden, um kontinuierliche Werte vorherzusagen. Ich stehe bei der Vorverarbeitung von Daten fest, die für die Verwendung von MLlib-Modellen erforderlich sind.

Answer 1

Ja, es ist notwendig. Sie müssen nicht nur in Zahlen konvertieren, sondern auch kodieren, um sie für lineare Modelle nützlich zu machen. Beide Schritte werden in pyspark.ml umgesetzt (nicht mllib) mit:

• pyspark.ml.feature.StringIndexer - Indizierung.
• pyspark.ml.feature.OneHotEncoder - Codierung.