Nehmen Sie Leser, die durch zwei Arten von Separatoren

Question

Ich habe einen Fall spalten kann, wo ich Dateien mit Zeilen des Formats

Field1,Field2,Field3,Field4,Field5,Field6#Field1,Field2,Field3 

Während die eine Art und Weise zu lesen, dies zu achive wäre ein Rekord Leser wie KeyValueLineRecordReader zu verwenden mit dem Separator #. Aber ich muss den Schlüssel und Wert auf , in meinem UDF unter Verwendung String.split teilen, die ich fühle, kann die Ausführung verlangsamen.
1. Gibt es Aufzeichnungsgeräte, die Formate dieses Typs bereitstellen? 2. Wenn es einen solchen Datensatzschreiber nicht gibt, was sind meine Alternativen zum effizienten Lesen einer solchen Zeile?

Eingangsdaten sind ~ 10 GB.

Answer 1

Sie können regex im Split verwenden

String line = "Field1,Field2,Field3,Field4,Field5,Field6#Field1,Field2,Field3"; 

String arr [] = line.split(",|#"); 

for (String s : arr) { 
    System.out.println(s); 
} 

Answer 2

Da Sie die Frage mit Apache-Schwein markiert haben, werde ich ein Schwein geben den Datensatz in 1 Feld solution.Load, ersetzen # mit ‚‘ und dann STRSPLIT verwenden, um die einzelnen Felder zu erhalten. Keine Notwendigkeit für Java oder irgendeine UDF.

A = LOAD 'input.txt' AS (line:chararray); 
B = FOREACH A GENERATE STRSPLIT(REPLACE(line,'#',','),',',9); 
DUMP B;