Wie Split-Regressionsdaten in hdf5 (Caffe)

konvertieren

Ich benutze @ Shai-Code, um Daten in HDF5 zu konvertieren, aber nach der Konvertierung ist die Größe der Daten zu groß, größer als die Grenze der Größe von Caffe (2GB) so, mein Frage ist, wie sollten wir die Daten teilen? wir brauchen nur Daten konvertieren getrennt hängt davon ab, was wir wollen?Wie Split-Regressionsdaten in hdf5 (Caffe)

Quelle

2017-01-02 Soodabe Zarezade

Haben Sie jedes Beispiel eine hdf5-Datei und ein einzelnes Beispiel ist mehr als 2 GB? Kannst du einen Link zu Shais Code als Referenz hinzufügen? – Jonathan

@ Jonathan Ich verwendete Matlab Beispielcode in Caffe, um meine Daten zu konvertieren, und ich selbst die Daten in einer Textdatei zu trennen, aber dieser Shai-Code: http://stackoverflow.com/q/31774953/6281477 –

Es wäre hilfreich, mehr Informationen zu haben, um eine bessere Antwort zu geben. Bitte gib den tatsächlichen Fehler an, den Caffe dir gibt. Was genau ist größer als 2 GB? Ist es die TXT-Datei?

HDF5 ist nicht sehr effizient. Ich würde empfehlen, entweder den Datenbank-Layer (http://caffe.help/manual/layers/data.html) zu verwenden oder eine eigene angepasste Python-Ebene zu schreiben (http://caffe.help/manual/layers/python.html).

Quelle

2017-01-03 15:48:45 Jonathan

Wie Split-Regressionsdaten in hdf5 (Caffe)

Antwort

Verwandte Themen