Effiziente Verwendung von for-Schleifen in der Skala

Question

Ich versuche, einen Datenrahmen in n Gruppen basierend auf bestimmten Werten seiner Spalten zu teilen. Und endete mit dem untenstehenden Code. Aber es sieht nicht effizient zwischen verschachtelten For-Schleifen, ich bin auf der Suche nach einem eleganten Ansatz bei der Umsetzung des folgenden Codes. Kann jemand bitte Eingaben machen?

Eingabe wird Spaltennamen sein, auf denen der Datenrahmen aufgeteilt werden soll. Also habe ich ein val in den verschiedenen Werten von Spalten speichern. Es speichert wie:

(0)(0) = F 
(0)(1) = M 
(1)(0) = drugY 
(1)(1) = drugC 
(1)(2) = drugX 

So habe ich insgesamt 5 mit Spaltenwerte wie folgt erstellt:

F and drugY 
M and drugY 
F and drugC 
M and drugC 
F and drugX 
M and drugX 

Answer 1

Ich verstehe nicht wirklich, was Sie tun wollen, aber wenn Sie die generiert werden soll Kombinationen des Spark-Datenrahmen api verwenden, können Sie es wie diese api

val patients = Seq(
    (1, "f"), 
    (2, "m") 
).toDF("id", "name") 

val drugs = Seq(
    (1, "drugY"), 
    (2, "drugC"), 
    (3, "drugX") 
).toDF("id", "name") 

patients.createOrReplaceTempView("patients") 
drugs.createOrReplaceTempView("drugs") 

sqlContext.sql("select p.id as patient_id, p.name as patient_name, d.id as drug_id, d.name as drug_name from patients p cross join drugs d").show 



+----------+------------+-------+---------+ 
|patient_id|patient_name|drug_id|drug_name| 
+----------+------------+-------+---------+ 
|   1|   f|  1| drugY| 
|   1|   f|  2| drugC| 
|   1|   f|  3| drugX| 
|   2|   m|  1| drugY| 
|   2|   m|  2| drugC| 
|   2|   m|  3| drugX| 
+----------+------------+-------+---------+ 

oder mit dem Datenrahmen tun

val cartesian = patients.join(drugs) 

cartesian.show 
(2) Spark Jobs 
+---+----+---+-----+ 
| id|name| id| name| 
+---+----+---+-----+ 
| 1| f| 1|drugY| 
| 1| f| 2|drugC| 
| 1| f| 3|drugX| 
| 2| m| 1|drugY| 
| 2| m| 2|drugC| 
| 2| m| 3|drugX| 
+---+----+---+-----+ 

Danach können Sie eine Kreuztabelle verwenden können, die eine Tabelle der Häufigkeitsverteilung

c.stat.crosstab ("patient_name", "drug_name") zu erhalten. Zeigen

+----------------------+-----+-----+-----+ 
|patient_name_drug_name|drugC|drugX|drugY| 
+----------------------+-----+-----+-----+ 
|      m| 1| 1| 1| 
|      f| 1| 1| 1| 
+----------------------+-----+-----+-----+