Compute Anforderungen für NN Training vs Deployed

Question

Ich versuche zu verstehen, die Rechenanforderungen für die Bereitstellung eines NN vs die Rechenanforderungen für das Training.

Ich habe gesucht und alle Referenzen, die ich gefunden habe, sprechen mit der Trainingsnachfrage.

Ich erwarte, aber nicht feststellen, dass die Nachfrage nicht signifikant für ein Trainingsereignis vs ein Test-Ereignis variiert.

Ich versuche zu verstehen, ob es machbar ist, dass ein trainiertes Modell eingesetzt wird, um ein Mobiltelefon zu sagen, das offline ist.

In den meisten Anwendungsfällen sammelt und sendet das Mobiltelefon die Eingabedaten, die dann an den zentralen Server gesendet werden (Beispiel), der das Ergebnis berechnet und zurückgibt.

Angenommen, etwas wie Bildanalyse, ist es möglich, vortrainiert zu einem Low-Compute-Power-Gerät eingesetzt werden?

Answer 1

Ja, es ist möglich, ein vortrainiertes Modell auf das Mobiltelefon zu übertragen. Die Differenz zwischen den Produktions & Ausbildung ist ziemlich groß, weil:

1. Normalerweise Modell auf verschiedene Weise für die Produktion optimieren können Sie ein Bild in der entfalteten Modell vs Stapel von Bildern in Trainingszeit
2. Sie bearbeiten:
   • Einige Layer ausschließen zB Dropout, Chargen Normalisierung
   • Quantisierungsraster Modell (ersetzen Schwimmer durch INT8)
   • Lauf Modell auf Handy GPU, DSP (siehe Snapdragon Neural Processing Engine SDK)