Regionsübergreifende Inferenz
AgentCore Bei Evaluierungen wird automatisch die optimale Region innerhalb Ihrer Region ausgewählt, um Ihre Inferenzanfragen zu bearbeiten. Dies maximiert die verfügbaren Rechenressourcen und die Modellverfügbarkeit und sorgt für ein optimales Kundenerlebnis. Ihre Daten werden nur in der Region gespeichert, aus der die Anfrage stammt. Eingabeaufforderungen und Ausgabeergebnisse können jedoch außerhalb dieser Region verarbeitet werden. Alle Daten werden verschlüsselt über AWS das sichere Netzwerk übertragen.
Für AgentCore Evaluationen verwenden Inferenzanfragen mit Ursprung im asiatisch-pazifischen Raum (Seoul) (ap-northeast-2) globale regionsübergreifende Inferenz und werden sicher an alle verfügbaren Rechenressourcen in allen globalen Handelsregionen weitergeleitet. AWS Weitere Informationen finden Sie unter Globale regionsübergreifende Inferenz für Evaluationen. AgentCore
Wenn Ihr Anwendungsfall die Vermeidung regionsübergreifender Inferenzen erfordert, können Sie benutzerdefinierte Evaluatoren erstellen, die ohne CRIS funktionieren. Benutzerdefinierte Evaluatoren bieten folgende Flexibilität:
-
Replizieren Sie die Funktionalität der integrierten Evaluatoren, ohne CRIS zu verwenden
-
Definieren Sie identische Bewertungskriterien und Bewertungsschemata als integrierte Evaluatoren
-
Behalten Sie die volle Kontrolle über die Inferenzkonfiguration
Anmerkung
Benutzerdefinierte Evaluatoren können zwar so konfiguriert werden, dass sie den integrierten Evaluatorfunktionen entsprechen, Sie sind jedoch für die Verwaltung der Modellverfügbarkeit und der Rechenressourcen verantwortlich.
