Verhindern column-Klasse-Inferenz in fread()

Question

Gibt es eine Möglichkeit für fread das Verhalten von read.table zu imitieren, wobei die class der Variablen durch die Daten festgelegt wird, eingelesen.

ich mit einem numerischen Daten einige Kommentare unter den Hauptdaten. Wenn ich fread verwende, um die Daten einzulesen, werden die Spalten in Zeichen konvertiert. Durch Setzen der nrow in read.table` kann ich dieses Verhalten jedoch stoppen. Ist das in fread möglich? (Ich würde es vorziehen, die Rohdaten nicht zu ändern oder eine korrigierte Kopie anzufertigen). Dank

Ein Beispiel

d <- data.frame(x=c(1:100, NA, NA, "fff"), y=c(1:100, NA,NA,NA)) 
write.csv(d, "test.csv", row.names=F) 

in_d <- read.csv("test.csv", nrow=100, header=T) 
in_dt <- data.table::fread("test.csv", nrow=100) 

Welche

> str(in_d) 
'data.frame': 100 obs. of 2 variables: 
$ x: int 1 2 3 4 5 6 7 8 9 10 ... 
$ y: int 1 2 3 4 5 6 7 8 9 10 ... 
> str(in_dt) 
Classes ‘data.table’ and 'data.frame': 100 obs. of 2 variables: 
$ x: chr "1" "2" "3" "4" ... 
$ y: int 1 2 3 4 5 6 7 8 9 10 ... 
- attr(*, ".internal.selfref")=<externalptr> 

Als Abhilfe, die ich dachte, erzeugt würde ich in der Lage sein read.table zu verwenden, in einer Zeile zu lesen, die Klasse erhalten und die colClasses gesetzt, aber Ich verstehe das nicht.

cl <- read.csv("test.csv", nrow=1, header=T) 
cols <- unname(sapply(cl, class)) 
in_dt <- data.table::fread("test.csv", nrow=100, colClasses=cols) 
str(in_dt) 

Verwendung Windows8.1 R Version 3.1.2 (2014.10.31) Plattform: x86_64-W64-mingw32/x64 (64-Bit)

Answer 1

Option 1: Mit a Systembefehl

fread() ermöglicht die Verwendung eines Systembefehls in seinem ersten Argument. Wir können damit die Anführungszeichen in der ersten Spalte der Datei entfernen.

indt <- data.table::fread("cat test.csv | tr -d '\"'", nrows = 100) 
str(indt) 
# Classes ‘data.table’ and 'data.frame': 100 obs. of 2 variables: 
# $ x: int 1 2 3 4 5 6 7 8 9 10 ... 
# $ y: int 1 2 3 4 5 6 7 8 9 10 ... 
# - attr(*, ".internal.selfref")=<externalptr> 

Der Systembefehlcat test.csv | tr -d '\"'erläutert:

• cat test.csv die Datei auf der Standardausgabe ausliest
• | ein Rohr, das Ausgangssignal des vorherigen Befehls als Eingabe für die nächste Verwendung Befehl
• tr -d '\"' löscht (-d) Alle Vorkommen von doppelten Anführungszeichen ('\"') aus dem Stromeingang

---

Option 2: Coercion nach

Lesen

Da Option 1 scheint nicht auf Ihrem System zu arbeiten, ein anderer Möglichkeit besteht darin, die Datei wie Sie zu lesen, aber konvertieren Sie die x Spalte mit type.convert().

library(data.table) 
indt2 <- fread("test.csv", nrows = 100)[, x := type.convert(x)] 
str(indt2) 
# Classes ‘data.table’ and 'data.frame': 100 obs. of 2 variables: 
# $ x: int 1 2 3 4 5 6 7 8 9 10 ... 
# $ y: int 1 2 3 4 5 6 7 8 9 10 ... 
# - attr(*, ".internal.selfref")=<externalptr> 

Randbemerkung: Ich ziehe es in der Regel type.convert() über as.numeric() zu verwenden, um die „NAs durch Zwang eingeführt“ zu vermeiden Warnung in einigen Fällen ausgelöst.Zum Beispiel

x <- c("1", "4", "NA", "6") 
as.numeric(x) 
# [1] 1 4 NA 6 
# Warning message: 
# NAs introduced by coercion 
type.convert(x) 
# [1] 1 4 NA 6 

Aber natürlich können Sie as.numeric() auch verwenden.

---

Hinweis: Diese Antwort geht davon aus data.table dev v1.9.5

Answer 2

Ok, der Kunden abusing CSV format absichtlich zu schreiben ist Zeichenfolge Zeilen zu einer Integer-Spalte Hinter, aber ohne diese Zeilen mit einem comment.char Start (#) .

Dann erwarten Sie irgendwie, dass Sie fread() 's Typ-Inferenz überschreiben können, um diese als ganze Zahl zu lesen, indem Sie nrow verwenden, um zu versuchen, es zu begrenzen, um nur die ganzzahligen Reihen zu sehen. read.csv(..., nrow) akzeptiert dies, aber fread() verwendet immer alle Zeilen für Typ-Inferenz (nicht nur die von nrow, skip, header angegebenen), und auch wenn sie mit comment.char beginnen (das ist ein Fehler).

1. Klingt wie ein Missbrauch von CSV. Ihre Kommentarzeilen sollten mit #
2. vorangestellt werden. Ja, fread() muss korrigiert/erweitert werden, um Kommentarzeilen für Typinferenz zu ignorieren.
3. Vorerst Sie mit fread() durch Nachbearbeitung der Daten-Tabelle lesen umgehen können
4. Es ist fraglich, ob fread() das gewünschte Verhalten geändert werden soll, unterstützen. Mit nrows zu begrenzen, was zu ausgesetzt wird Typ-Inferenz . Es könnte Ihren (ziemlich einzigartigen) Fall beheben und einige andere brechen.

Ich sehe nicht, warum Sie (EDIT: der Kunde) können Ihre Kommentare zu einer separaten .txt/README/Daten-Wörterbuch-Datei nicht schreiben die .csv zu begleiten. Die Praxis, eine separate Datenwörterbuchdatei zu verwenden, ist ziemlich gut etabliert. Ich habe noch nie jemanden gesehen, der dies zu einer CSV-Datei macht. Verschieben Sie die Kommentare zumindest in die Kopfzeile und nicht in eine Fußzeile.