Verbindung von Peer zurückgesetzt: Socket-Schreibfehler IBM Watson visuelle Erkennungs

Question

Beim Versuch, Zip-Dateien zu laden, gibt es eine Fehlermeldung:

INFO: < - HTTP FAILED: java.net.SocketException: Verbindung von Peer zurückgesetzt : socket Schreibfehler (Error Screenshot)

Hier ist, was ich from IBM Watson Documentation

1. der Dienst akzeptiert pro .zip maximal 10.000 Bilder oder 100 MB gefunden Datei
2. Der Dienst erfordert mindestens 10 Bilder pro ZIP-Datei.
3. Der Dienst akzeptiert maximal 256 MB pro Trainingsanruf.
4. Die empfohlene Mindestgröße für ein Bild ist 32X32 Pixel.

Daher habe ich schon Sorge jedes genommen und jeder Aspekt oben angegeben ..

ich für den Dienst bezahlt haben, und ändert die api-Taste.

Gesamtreißverschlüsse: Rund 1000

Jede zip rund 15 Bilder enthält.

was ich denke, das Problem könnte sein, wenn ich die Gesamtgröße aller meiner Zip-Dateien überprüfen, dann ist es etwa 1 GB. Ist das ein Problem mit riesigen Zip-Dateien? Der gleiche Code funktioniert für weniger Zip-Dateien.

List<File> allZipPath = new ArrayList<File>(); 

// add zip paths 

Builder classBuilder = new ClassifierOptions.Builder(); 

for(int i=0; i<allZipPath.size(); i++){ 

    //Take the name and add as a name to the class 
    classBuilder.addClass(allZipPath.get(i).getName(), allZipPath.get(i)); 
} 
ClassifierOptions createCanaryOptions = classBuilder.classifierName(classifierName).build(); 

// you can add negative zip by using ".negativeExamples(new File(myFilePath +"cats.zip")).build()" 
result = service.createClassifier(createCanaryOptions).execute(); 
//System.out.println(result); 
System.out.println("Classifier created with Id: " + result.getId() + "\n\n"); 

Answer 1

und vielen Dank für Ihr Interesse in Visual Recognition.

Die Dokumentation wurde unter der Annahme geschrieben, dass Sie 1 Zip-Datei pro class innerhalb der classifier, die Sie trainieren, einreichen.

Teilen Sie Beispiele aus derselben Klasse in verschiedene ZIP-Dateien auf? Das ist möglich, aber nicht notwendig, es sei denn, Ihre Beispiele für eine einzelne Klasse überschreiten 100 MB.

Das empfohlene Muster für das Training besteht darin, eine einzige Anfrage mit einer Gesamtgröße von weniger als 256 MB zu erstellen, die alle Beispiele für jede darin enthaltene Klasse enthält. Wenn Sie mehr Trainingsdaten haben, können Sie zusätzliche "Umschulungs" -Anfragen einreichen, die zu vorhandenen Klassen weitere Klassen und/oder weitere Beispiele hinzufügen. Retraining ist hier dokumentiert: https://www.ibm.com/watson/developercloud/doc/visual-recognition/tutorial-custom-classifier.html#to-add-new-classes-to-an-existing-classifier

The service requires a minimum of 10 images per .zip file.

Minimum recommend size of an image is 32X32 pixels.

Um zu klären, sind diese Minima - mindestens 10 Beispielbilder für jede class innerhalb der sein müssen classifier Sie trainieren. Es ist am besten, alle Trainingsbilder, die Sie für eine class können, in eine einzige ZIP-Datei zu speichern, mit der Grenze von 100 MB pro ZIP-Datei. Wenn Sie pro Klasse mehr Beispiele haben, können Sie die Umschreibungsfunktion verwenden, um weitere hinzuzufügen.

Außerdem ist 32x32 die Mindestgröße. Idealerweise sollten Sie Bilder in Originalgröße einreichen, aber wenn Sie sie verkleinern müssen, um Zeit oder Bandbreite zu sparen, können Sie die Größe auf 224x224 ändern, ohne die Trainingsqualität zu verlieren.(Genaue Größen Thema in der Zukunft ändern)

I have paid for the service, and changes the api key.

Total zips: Around 1000.

bedeutet dies Ihre POST/Klassifizierer Anforderung enthält rund 1000 Formularfelder? Das könnte die Ursache des Problems zu einem bestimmten Zeitpunkt in der Verbindung zwischen Client-Code und Server sein. führt in der Regel zu viel bessere Ergebnisse

Each zip contains around 15 images.

Während das System ein Minimum von 10 Bildern pro Klasse hat, mehr Beispiele (wie 100-200) bereitgestellt wird.

what I think the issue might be is, if I check the total size of all my zip files, then it is around 1GB. So is that an issue of having huge amount of zip files? The same code is working fine for less amount of zip files.

Wie Sie bemerkt, wenn Ihre Gesamtanforderungsgröße 1 GB ist, wird dies über die 256 MB Grenze sein:

The service accepts a maximum of 256 MB per training call.

und das könnte den Fehler verursachen Sie beobachten.

Mein Rat wäre, eine kleinere Anzahl von Klassen als 1000 zu trainieren, mit so vielen Beispielen pro Klasse wie möglich, um Ihre Ergebnisse zu bewerten, bevor Sie zu 1000 Klassen gehen. Wenn Sie dies bereits getan haben, wäre die beste Strategie (da Sie gesagt haben, dass Sie etwa 1 GB an Daten haben), eine Aufteilung in 1 ursprüngliche Trainingsanforderung (unter 256 MB Gesamtgröße) und 3-4 zusätzliche Anfragen mit jeweils 256 MB. Die Umschulungsrechnung entspricht der Anzahl der in der Anfrage eingereichten Bilder (wie bei der ursprünglichen Schulung), so dass die Kosten gleich sind, als ob eine einzelne große Anfrage erfolgreich gewesen wäre. Sie können erwarten, dass jede Trainingsanfrage 1-2 Sekunden pro Bild dauert.

Weitere Informationen über Ausbildungsrichtlinien sind hier: https://www.ibm.com/watson/developercloud/doc/visual-recognition/customizing.html#guidelines-for-good-training