pyspark.sql data.frame Funktionen zu verstehen

Question

Ich nehme eine mooc.

Es hat eine Zuweisung, bei der eine Spalte in den Kleinbuchstaben konvertiert werden muss. sentence=lower(column) macht den Trick. Aber zuerst dachte ich, dass die Syntax sentence=column.lower() sein sollte. Ich schaute auf die Dokumentation und konnte das Problem mit meiner Syntax nicht herausfinden. Wäre es möglich zu erklären, wie ich durch Suche nach Online-Dokumentation und Funktionsdefinition herausfinden könnte, dass ich eine falsche Syntax habe?

Ich bin besonders verwirrt wie This link zeigt, dass string.lower() funktioniert der Trick bei der Python regulären String-Objekte

from pyspark.sql.functions import regexp_replace, trim, col, lower 
def removePunctuation(column): 
    """Removes punctuation, changes to lower case, and strips leading and trailing spaces. 

    Note: 
     Only spaces, letters, and numbers should be retained. Other characters should should be 
     eliminated (e.g. it's becomes its). Leading and trailing spaces should be removed after 
     punctuation is removed. 

    Args: 
     column (Column): A Column containing a sentence. 

    Returns: 
     Column: A Column named 'sentence' with clean-up operations applied. 
    """ 

    sentence=lower(column) 

    return sentence 

sentenceDF = sqlContext.createDataFrame([('Hi, you!',), 
             (' No under_score!',), 
             (' *  Remove punctuation then spaces * ',)], ['sentence']) 
sentenceDF.show(truncate=False) 
(sentenceDF 
.select(removePunctuation(col('sentence'))) 
.show(truncate=False)) 

Answer 1

Sie richtig sind. Wenn Sie mit einer Zeichenfolge arbeiten, wenn Sie sie in Kleinbuchstaben konvertieren möchten, sollten Sie str.lower() verwenden.

Und wenn Sie die String-Seite im Python Documentation überprüfen, sehen Sie, es eine untere Methode verfügt, die wie erwartet funktionieren sollte:

a_string = "StringToConvert" 
a_string.lower()      # "stringtoconvert" 

jedoch. In dem von Ihnen bereitgestellten Spark-Beispiel haben Sie in Ihrer Funktion removePunctuation NICHT mit einer einzelnen Zeichenfolge gearbeitet. Sie arbeiten mit einer Spalte. Und eine Spalte ist ein anderes Objekt als eine Zeichenkette, das heißt, Sie sollten eine Methode verwenden, die mit einer Spalte arbeitet.

Insbesondere arbeiten Sie mit dieser pyspark sql method. Wenn Sie das nächste Mal unsicher sind, welche Methode Sie implementieren müssen, überprüfen Sie den Datentyp Ihrer Objekte. wenn Sie die Liste der Importe Überprüfen Sie auch, sehen Sie, es ist der Aufruf der lower Methode von pyspark.sql.functions

Answer 2

Dies ist, wie ich es geschafft:

lowered = lower(column) 
np_lowered = regexp_replace(lowered, '[^\w\s]', '') 
trimmed_np_lowered = trim(np_lowered) 

return trimmed_np_lowered 

Answer 3

return trim(lower(regexp_replace(column, "\p{Punct}", ""))).alias('sentence')