Amazon S3 hohe CPU-Auslastung mit 100 PutObject-Aufrufen (.NET)

Question

Wir verwenden Amazon S3 zum Speichern von bis zu 500.000 Daten. Wir haben auf EC2-Instanz installiert .NET 4.0 Web-Service, der den PutObject Anruf mit 500K Daten macht.

Das Problem ist, dass, wenn wir mehr als 100 gleichzeitige Anrufe (mit eindeutigen S3-Tasten) zu diesem Dienst bzw. S3, und die EC2-Instanz CPU 100% trifft. Wir haben eine Profilerstellung für den Webservice durchgeführt und festgestellt, dass die AmazonS3Client.PutObject-Methode 99% der Verarbeitungszeit beansprucht.

Wir haben versucht, den S3-Client für die Verwendung von HTTP (anstelle von Standard-HTTPS) zu konfigurieren, und spielten auch ein wenig mit dem S3-Schlüsselgenerierungsschema, aber nichts half. Dieser Artikel Amazon S3 PutObject is very slow hat auch nicht geholfen.

Unser S3 Schlüssel Schema lautet: "111_ [Inkrementieren ID] .txt"

Diese umfangreiche CPU-Auslastung nicht passiert, wenn wir eine kürzere Daten verwenden - wie weniger als 1K.

Können Sie uns eine Anleitung geben, was getan werden könnte, um die CPU-Leistung zu verbessern oder wo Sie suchen?

Und hier ist der Quellcode für diesen Anruf:

string fileName = "111_" + Id + ".txt"; 
using (AmazonS3 client = Amazon.AWSClientFactory.CreateAmazonS3Client(RegionEndpoint.XXXX)) 
     { 
      try 
      { 
PutObjectRequest request = new PutObjectRequest(); 
request.WithContentBody(dataRequest.Base64Data) 
       .WithBucketName(bucketName) 
       .WithKey(fileName); 

S3Response response = client.PutObject(request); 
response.Dispose(); 
      } 
      catch (AmazonS3Exception amazonS3Exception) 
      { 
       //Handle exceptiom... 
      } 
     } 

Dank!

Answer 1

Ich würde versuchen, die TransferUtility höhere Ebene Klasse, anstatt Low-Level-PutObject-Aufrufe. http://docs.aws.amazon.com/sdkfornet1/latest/apidocs/html/T_Amazon_S3_Transfer_TransferUtility.htm