Dynamische Möglichkeit, Positionsdatei mit Scala zu lesen

Question

Ich bin in der Lage, Datei mit fester/örtlicher Länge mit Hilfe des unten stehenden Codes statisch zu lesen.aber ich muss es dynamisch machen wie- wir müssen die Position der Datei und des Dateinamens übergeben ein Parameter

val positionalFileReading = spark.read.textFile(inputFilePath).rdd 
    .map(l => (l.substring(0, 3).trim(), l.substring(3, 13).trim(), 
      l.substring(13,18).trim(), l.substring(18,22).trim()))  

Jede Hilfe wird sehr geschätzt.

Answer 1

Zuerst würde ich empfehlen, ein Verfahren mit Ihrer Reihe an mehreren Stellen zu spalten:

def splitAtLengths(row: String, lengths: List[Int], acc: List[String] = Nil): List[String] = lengths match { 
    case Nil => acc.reverse 
    case n :: ls => 
    val (first, rest) row.splitAt(n) 
    splitAtLengths(rest, ls, first :: acc) 
} 

Dies ermöglicht es Ihnen splitAtLengths(l, List(3, 10, 5)).map(_.trim) zu tun, um zu ersetzen, was Sie in Ihrem map haben.

Nun, man muss nur die entsprechenden Parameter an die Funktion geben müssen:

def positionalFileReading(inputFilePath: String, cellLengths: List[Int]) = spark.read.textFile(inputFilePath).rdd. 
    map(l => splitAtLengths(l, cellLengths).map(_.trim))