Ich habe ein großes Datenvolumen (~ 20 TB) im Azure-Blobspeicher, auf den ich über Spark Cluster-Setup in Amazon EMR zugreifen möchte. Was ist der beste Weg, dies zu tun? Ist die Übertragung dieser Daten an S3 die einzige Option? Wenn ja, wie können Sie diese Daten am kostengünstigsten an S3 übertragen?Zugriff auf Azure-Blobspeicher in Amazon EMR
Danke!
Basierend auf Ihrer Beschreibung, haben Sie etwa 20 TB Daten, die auf Amazon S3 übertragen werden sollen. Ich bin mit Amazon nicht vertraut. Aber in Azure werden wir für die Datenübertragung berechnet. Hier ist die pricing site. Zum Beispiel benötigen Sie 0,08 $ pro GB. 20 * 1024 * 0,08 = $ 1638,4. Es ist sehr teuer. Ich würde Ihnen empfehlen, andere Ansätze in Betracht zu ziehen. Wenn Ihnen das Geld überhaupt egal ist, versuchen Sie bitte, das Tool in Google zu suchen oder schreiben Sie Ihren eigenen Code, um diese Daten zu übertragen.