coffe Datenschicht Beispiel Schritt für Schritt

Question

Ich möchte eine Caffe Python Data Layer Beispiel zu lernen. Ich weiß, dass Fast-RCNN eine Python-Datenschicht hat, aber es ist ziemlich kompliziert, da ich mit der Objekterkennung nicht vertraut bin.
Also meine Frage ist, gibt es eine Python-Datenschicht Beispiel wo ich lernen kann, wie ich meine eigene Datenvorbereitungsprozedur definieren?
Zum Beispiel, wie Sie eine Python-Datenschicht definieren tun viel mehr Datenerweiterung (wie Übersetzung, Rotation usw.) als Caffe "ImageDataLayer".

Vielen Dank

Answer 1

Sie eine "Python" Schicht verwenden können: eine Schicht in Python implementiert, um Daten in dein Netz einzuspeisen. (Siehe ein Beispiel zum Hinzufügen einer type: "Python" Schicht here).

import sys, os 
sys.path.insert(0, os.environ['CAFFE_ROOT']+'/python') 
import caffe 
class myInputLayer(caffe.Layer): 
    def setup(self,bottom,top): 
    # read parameters from `self.param_str` 
    ... 
    def reshape(self,bottom,top): 
    # no "bottom"s for input layer 
    if len(bottom)>0: 
     raise Exception('cannot have bottoms for input layer') 
    # make sure you have the right number of "top"s 
    if len(top)!= ... 
     raise ... 
    top[0].reshape(...) # reshape the outputs to the proper sizes 

    def forward(self,bottom,top): 
    # do your magic here... feed **one** batch to `top` 
    top[0].data[...] = one_batch_of_data 


    def backward(self, top, propagate_down, bottom): 
    # no back-prop for input layers 
    pass 

Weitere Informationen zu param_str siehe this thread.
Sie können eine Skizze einer Datenladeebene mit Prefetch here finden.

Answer 2

@ Shais Antwort ist großartig. Zur gleichen Zeit finde ich ein weiteres detailliertes Beispiel über Python Data Layer in einem PR von Caffe-Master. https://github.com/BVLC/caffe/pull/3471/files Ich hoffe, dieses detaillierte Beispiel ist hilfreich für alle anderen.