Automatische Übertragung der Ergebnisse der Berechnung auf ec2-Instanz auf lokalen Client mit Python

Question

Ich bin kleinere Dinge auf einer AWS EC2-GPU-Instanz berechnen. Derzeit muss ich die richtigen Parameter finden, so dass es kürzere Berechnungen gibt, die ich analysieren muss, und dann einige Parameter anpassen, um sie erneut zu berechnen.

Für die Analyse bin ich auf Dinge angewiesen, die auf meiner EC2-Instanz nicht verfügbar sind. Also ich suche nach einer bequemen Möglichkeit, kleine Datenmengen (nicht größer als 2MB) von einer EC2-Instanz direkt auf meinen lokalen Computer zu übertragen. Ich suche einen Weg, der so wenig wie möglich in meinen Workflow eingreift, damit ich mich auf die Analyse der Daten und die Aktualisierung der Parameter konzentrieren kann. Zur Zeit benutze ich das Terminal und tun es manuell über SCP, aber es hat eine bessere Weg-

Answer 1

Wenn Sie scp auf Ihre Systeme haben Zugriff sein dann die paramiko Bibliothek können die Transfers für Sie durchführen, wie in this answer beschrieben. Es gibt eine scp library, die gut damit arbeitet.

Für vollere Automatisierung über ssh Links betrachten fabric, gebaut, um Single-und Multi-System-Automatisierungsaufgaben zu behandeln.

Answer 2

Sie können tar für Ihre Dateien verwenden.

tar cvzf - -T list_of_filenames | ssh -i ec2key.pem ec2-user@hostname tar xzf - 

Sie können auch rekursiv scp verwenden.