Best Practices für die Leistung AWS SDK für .NET

Wie Sie Clients erstellen, Antworten verarbeiten und Ihre Anwendung konfigurieren, hat große Auswirkungen auf den Durchsatz, die Latenz und die Speichernutzung. In diesem Thema werden Nutzungs- und Konfigurationsmuster beschrieben, die dazu beitragen, dass Ihre Anwendungen effizient und zuverlässig ausgeführt werden. Diese Muster sind bei hoher Auslastung oder in Umgebungen mit beschränkten Ressourcen wie Containern und serverlosen Funktionen am wichtigsten. Wenn Sie diese Methoden befolgen, können Sie die Leistung verbessern und häufig auftretende Probleme wie langsame Reaktionen, Hängen und hohe Speicherauslastung verhindern.

Die wirksamsten Praktiken sind die folgenden:

Bevor Sie beginnen, stellen Sie sicher, dass Sie Ihre Umgebung eingerichtet und Ihr Projekt konfiguriert haben.

Verwenden Sie einen einzigen, langlebigen Service-Client erneut

Serviceclients wie AmazonS3Client AmazonDynamoDBClient sind threadsicher, relativ teuer in der Erstellung und langlebig. Bei der Erstellung eines Clients werden Regions- und Endpunktinformationen aufgelöst und die zugrunde liegende HTTP-Infrastruktur eingerichtet. Erstellen Sie einen Client pro Dienst und verwenden Sie ihn für die gesamte Lebensdauer Ihrer Anwendung wieder. Wenn Sie mehr als eine Region aufrufen, erstellen Sie für jede Region einen eigenen Client.

In Anwendungen, die Dependency Injection verwenden, registrieren Sie den Client als Singleton. Die AddAWSService Erweiterungsmethode aus dem AWSSDK.Extensions.NETCore.Setup NuGet Paket registriert den Client mit einer Standardlebensdauer vonServiceLifetime.Singleton. Der Client wird erstellt, wenn er zum ersten Mal angefordert wird, und dieselbe Instanz wird für die gesamte Lebensdauer des Prozesses wiederverwendet. Weitere Hinweise zur Registrierung von AWS Diensten mit Dependency-Injection und zum Lesen von Optionen aus der Konfiguration finden Sie unterAWSSDK.Extensions.NETCore.Setup und IConfiguration.

Sie können einen Client auch manuell als Singleton registrieren.

builder.Services.AddSingleton<IAmazonS3>(_ => new AmazonS3Client());

Die Wiederverwendung des Clients bedeutet nicht, dass Sie aufhören sollten, Antworten pro Vorgang zu löschen. Verwenden Sie den Client für die gesamte Lebensdauer der Anwendung wieder, löschen Sie jedoch weiterhin die Antworten und Streams, die von einzelnen Vorgängen zurückgegeben werden, wie unter beschrieben. Antworten und Streams löschen

Löschen Sie Antworten und Streams, um Verbindungen freizugeben

Einige SDK-Antwortobjekte übertragen einen Live-Netzwerkstream. Das gängigste Beispiel ist GetObjectResponse, das den Inhalt des Objekts mithilfe seiner ResponseStream Eigenschaft implementiert IDisposable und verfügbar macht. Die Antwort hält eine offene HTTP-Verbindung aufrecht, bis der Stream vollständig gelesen oder die Antwort gelöscht ist. Wenn Sie diese Antworten durchsickern lassen (z. B. indem Sie GetObject in einer Schleife aufrufen, ohne jedes Ergebnis zu löschen), häufen sich offene Verbindungen an, bis der Verbindungspool erschöpft ist und der nächste Anruf blockiert wird. Dies ist die Ursache für Berichte über Downloads, die „zufällig hängen“ oder auf dem N-ten Objekt zum Stillstand kommen.

Schließen Sie eine Streaming-Antwort immer in eine using Anweisung ein und lesen oder kopieren Sie den Stream umgehend.

using Amazon.S3;
using Amazon.S3.Model;

// s3Client is a reused, long-lived client.
var request = new GetObjectRequest { BucketName = bucketName, Key = key };

using var response = await s3Client.GetObjectAsync(request);
await response.WriteResponseStreamToFileAsync(filePath, append: false, CancellationToken.None);

Das Löschen der Antwort und das Löschen der Antwort ResponseStream sind gleichwertig; beide schließen den zugrunde liegenden Netzwerk-Stream und geben die Verbindung an den Pool zurück.

var metadata = await s3Client.GetObjectMetadataAsync(bucketName, key);
Console.WriteLine($"Size: {metadata.ContentLength} bytes");

async/await Richtig verwenden

Auf moderner.NET AWS SDK für .NET sind die Dienstoperationen in asynchron und geben a zurück. Task In .NET Framework gibt es auch synchrone Methoden, aber asynchrone Aufrufe lassen sich besser skalieren und werden empfohlen. Führen Sie Operationen mit await jeder Ebene Ihres Codes async durch und übertragen Sie sie bis zum Einstiegspunkt. Weitere Informationen zur asynchronen Programmierung mit dem SDK finden Sie unter. Asynchrone Programmierung

Die folgende Methode blockiert den asynchronen Aufruf und kann den Threadpool blockieren oder aussetzen.

// Anti-pattern: do not do this.
public GetObjectResponse Get(GetObjectRequest request)
{
    return s3Client.GetObjectAsync(request).Result;
}

Führen Sie stattdessen die Methode async und den Aufruf durch. await

public async Task<GetObjectResponse> GetAsync(GetObjectRequest request)
{
    return await s3Client.GetObjectAsync(request);
}

Zusätzliche Empfehlungen für asynchronen Code:

Konfigurieren Sie .NET-Garbage Collection für AWS Lambda und Amazon ECS

Wenn ein Container ein „Speicherleck“ zu haben scheint, behält der.NET-Garbage Collector (GC) möglicherweise den zurückgewonnenen Speicher zur Wiederverwendung vor. Daher kann der Prozessspeicher auch dann hoch und stabil erscheinen, wenn der verwaltete Heap nicht wächst. Außerdem erkennt der GC nicht automatisch das Speicherlimit eines Containers (sein Cgroup-Limit). In einer eingeschränkten Umgebung wächst der Heap dann möglicherweise in Richtung des Speichers des Hosts und nicht in Richtung des Limits des Containers. Dies kann dazu führen, dass OutOfMemoryException oder der Container beendet wird.

Damit der GC auch in eingeschränkten Umgebungen gut funktioniert:

Weitere Informationen zu diesen Einstellungen finden Sie unter Laufzeitkonfigurationsoptionen für die Garbage Collection auf learn.microsoft.com. Spezifische Anleitungen zur AWS Datenverarbeitung finden Sie im Blogbeitrag Configuring .NET Garbage Collection for Amazon ECS für AWS Developer Tools und. AWS Lambda

HTTP-Verbindungen und Verbindungslimits verwalten

Bei hohem Durchsatz treten häufig zwei Verbindungsprobleme auf. Die erste besteht darin, zu viele kurzlebige Verbindungen zu öffnen. Dadurch werden kurzlebige Ports erschöpft, Sockets bleiben erhalten und die TCP- und TIME_WAIT TLS-Handshake-Latenz wird erhöht. Die zweite besteht darin, dass zu wenige Verbindungen verfügbar sind, wodurch die Parallelität behindert wird. Die Wiederverwendung eines einzelnen, langlebigen Clients (sieheServicekunden wiederverwenden) ist die Grundlage für ein einwandfreies Verbindungspooling, da das Pooling davon abhängt, dass der Client wiederverwendet wird.

Um die Anzahl gleichzeitiger Verbindungen pro Endpunkt zu optimieren, legen Sie die Eigenschaft in der MaxConnectionsPerServer Client-Konfiguration fest. Wenn diese Eigenschaft null (die Standardeinstellung) ist, gilt die zugrundeliegende HttpClientHandler Standardeinstellung, die auf moderner.NET praktisch unbegrenzt ist. Erhöhen Sie es nur, wenn bei vielen gleichzeitigen Anfragen an denselben Endpunkt ein Verbindungsengpass auftritt. Ein guter Ausgangspunkt ist die maximale Anzahl gleichzeitiger Anfragen, die Sie pro Endpunkt erwarten. Wenn Sie sie deutlich höher einstellen, als Ihre Arbeitslast benötigt, werden Sockets verschwendet, ohne den Durchsatz zu verbessern.

using Amazon.S3;

var config = new AmazonS3Config
{
    MaxConnectionsPerServer = 50
};

var s3Client = new AmazonS3Client(config);

Wenn Sie Dependency Injection bereits verwenden, konfigurieren Sie Ihre Clients überAWSSDK.Extensions.NETCore.Setup. Dies ist die empfohlene Vorgehensweise, wenn Sie DI verwenden oder mehrere Service-Clients registrieren. Es zentralisiert die Konfiguration und erleichtert das Einfügen und Testen von Clients. Sie können Konfigurationswerte in der Konfiguration Ihrer Anwendung und nicht im Code festlegen. Weitere Informationen finden Sie unter AWSSDK.Extensions.NETCore.Setup und IConfiguration.

Schließlich sollten Sie Ihre eigene Parallelität so festlegen, dass Sie nicht mehr gleichzeitige Operationen starten, als Ihr Verbindungslimit zulässt. Zum Beispiel Gate-Aufrufe mit einer SemaphoreSlim Größe, die auf Ihr Verbindungslimit begrenzt ist:

var throttle = new SemaphoreSlim(50); // match MaxConnectionsPerServer
await throttle.WaitAsync(token);
try
{
    await s3Client.GetObjectAsync(request, token);
}
finally
{
    throttle.Release();
}

Konfigurieren Sie Timeouts und Wiederholungen

Timeouts und Wiederholungen wirken sich direkt auf die wahrgenommene Leistung aus. Ein zu hoher Timeout Wert führt dazu, dass eine angehaltene Anfrage für eine lange Zeit blockiert wird. Wenn ein Dienst bereits Drosselungsfehler zurückgibt, kommen durch eine aggressive Wiederholungsrichtlinie weitere Anfragen hinzu, was die Drosselung verschlimmern kann. Wählen Sie eine Wiederholungsrichtlinie, die der Toleranz Ihrer Anwendung in Bezug auf Latenz und Ausfall entspricht, und lassen Sie zu, dass sich echte Ausnahmen ausbreiten, anstatt es so zu wiederholen, dass ein Stillstand maskiert wird.

Weitere Hinweise zu den Wiederholungsmodi und der Timeout Eigenschaft (ReadWriteTimeoutgilt nur für.NET Framework) sowie Beispiele für deren Einstellung finden Sie unter. MaxErrorRetry Wiederholungen und Timeouts

Optimieren Sie Streaming und Übertragungen großer Objekte (Amazon S3)

Verwenden Sie die TransferUtility Klasse im Amazon.S3.Transfer Namespace, um große Objekte oder viele Objekte hoch- und herunterzuladen. Sie lädt mithilfe mehrteiliger Übertragungen parallel hoch und lädt sie herunter und verwaltet Streams, Teile und Verbindungen für Sie. Das ist schneller als eine Single-Stream-Übertragung und ist die empfohlene Methode, um große Objekte zu verschieben.

Diagnostizieren Sie Leistungsprobleme

Wenn Sie eine Verlangsamung, ein Stillstand oder ein offensichtliches Leck untersuchen, helfen Ihnen die folgenden Signale, die Ursache schnell zu finden: