Teilen Sie große Datensätze zwischen einer Gruppe

Question

Kann bitte jemanden vorschlagen, ein Online-Dienste zu teilen große Dateien, über 100 GB, unter einer Gruppe von Menschen? Wir arbeiten gerade an einem maschinellen Lernprojekt, das einen ständigen Zugriff auf die Dateien erfordert, ohne sie herunterladen zu müssen. Für dieses Projekt werden wir die Dateien mit Python und R manipulieren, ich weiß, dass ich den Code mit Git hochladen und teilen kann, aber gibt es einen Dienst (wie Docker?), Mit dem man Informationen speichern und online "spielen" kann?

Danke!

Answer 1

Gemeinsame Praxis - verwenden Sie Git für Ihren Code und S3 für Daten.

Sie können auch das Open-Source-Tool DVC - http://dataversioncontrol.com - überprüfen, das Git-Modellierungscode mit S3- oder GCP-Speicher orchestriert. Es wurde für ML-Szenarien konzipiert. Python und R-Code werden beide von DVC unterstützt.