Ich habe mehrere s3-Buckets auf einem aws-Konto und ich habe auch eine EC2-Maschine mit Rstudio Pro. Ich möchte gerne auf meine S3-Buckets zugreifen (das sind jeweils mehrere Terabyte an Daten).Wie kann AWS S3-Buckets direkt als Datensatz in RStudioServer aufgerufen werden?
Ich möchte in der Lage sein, zuerst die Buckets als Datensätze zu montieren, ohne das ganze Ding in ein EBS zu kopieren, bevor es jedes Mal gelesen wird.
Jede Hilfe wäre großartig.
Es scheint, dass Sie die versuchen könnten, aws.s3 Paket von der cloudyr project, https://github.com/cloudyr/aws.s3.
Damit vorausgesetzt, Sie Ihre Daten auf einem privaten Eimer haben, können Sie es wie folgt zugreifen:
aws.s3::getbucket(
bucket = 'hpk',
key = YOUR_AWS_ACCESS_KEY,
secret = YOUR_AWS_SECRET_ACCESS_KEY
)
Hoffentlich wird Ihnen helfen, Daten von Ihrem Eimer zugreifen. Sie können dann auch versuchen aws.ec2 mit Ihrem ec2 Computer zu kommunizieren.
Dank Blick in diese! –
So funktioniert diese Methode großartig, aber ich traf alle Wände mit der Rversion-Kompatibilität und ich weiß nicht, wie man nach der Version sucht, mit der das aws.s3-Plugin funktioniert oder wie man die Version von R installiert. 'Paket 'aws.s3' ist nicht verfügbar (für R Version 3.2.4 Überarbeitet)' Wenn ich versuche, das Plugin –
@JoshBeauregard zu installieren, sollten Sie dieses Paket von seiner Installationsanleitung installieren und nicht von CRAN https://github.com/cloudyr/aws.s3#installation –
Meine gehen zu Paket für diese Art von Aufgaben mit Python ist boto. Und es sieht aus wie es nicht eine portierte Version von R. ist
ich nicht versucht haben, für den Fall, aber man könnte dies nützlich finden ...
Sie können einen Blick auf diese sehr Arbeit in Arbeit Paket: https://github.com/cloudyr/aws.s3 – Thomas