Wie verwende ich Slim.dataset_data_provider, wenn ich mehrere TFRecords habe?

Question

Ich verwende slim.dataset_data_provider. Zum Beispiel

my_dataset = slim.dataset.Dataset(
      data_sources='datasets/my_data.tfrecord`, 
      reader=reader, 
      decoder=decoder, 
      ...) 

provider = slim.dataset_data_provider.DatasetDataProvider(
      my_dataset, 
      ...) 

Ich fand, dass dies sehr conveninent ist. Allerdings ist die my_data.tfrecord bereits jetzt um 15GB, und ich soll mehr Daten erhalten. Anstatt eine große TFRecord-Datei neu zu erstellen, möchte ich mehrere TFRcord-Dateien wie my_data_A.tfrecord, my_data_B.tfrecord und so weiter speichern.

Wenn ich mehrere TFrecord-Dateien habe, wie kann ich slim.dataset_data_provider verwenden? Oder gibt es einen Weg, dies zu tun?

Answer 1

Mit einem Experiment, ich glaube, man mehrere tfrecords wie

my_dataset = slim.dataset.Dataset(
     data_sources=['a.tfrecord`, 'b.tfrecord`], 
     reader=reader, 
     decoder=decoder, 
     ...) 

verwenden können