Optimisation de l’inférence de modèle pour la latence

L'inférence optimisée en termes de latence pour les modèles de base Amazon Bedrock permet d'accélérer les temps de réponse et d'améliorer la réactivité des applications d'IA. Les versions optimisées de Amazon Nova Pro, le modèle Claude 3.5 Haiku d’Anthropic et les modèles Meta’s Llama 3.1 405B and 70B présentent une latence fortement réduite sans compromis sur la précision.

L’accès à la fonctionnalité d’optimisation de la latence ne nécessite aucune configuration supplémentaire ni aucun peaufinage précis du modèle, ce qui permet d’améliorer immédiatement les applications existantes avec des temps de réponse plus rapides. Vous pouvez définir le paramètre « Latence » sur « optimisé » lorsque vous appelez l’API d’exécution d’Amazon Bedrock. Si vous sélectionnez « standard » comme option d’invocation, vos demandes seront traitées par inférence standard. Par défaut, toutes les demandes sont acheminées en « standard ».

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

Une fois que vous avez atteint le quota d’utilisation pour l’optimisation de la latence pour un modèle, nous essaierons de répondre à la demande avec une latence standard. Dans de tels cas, la demande sera facturée aux tarifs de latence standard. La configuration de latence pour une demande traitée est visible dans les réponses et les AWS CloudTrail journaux de l'API. Vous pouvez également consulter les métriques des demandes optimisées pour la latence dans les Amazon CloudWatch journaux sous « model-id+latency-optimized ».

L’inférence optimisée pour la latence est disponible pour les modèles Llama 3.1 70B et 405B de Meta, ainsi que pour les modèles Claude 3.5 Haiku d’Anthropic dans les régions USA Est (Ohio) et USA Ouest (Oregon) via une inférence interrégionale.

L’inférence optimisée est disponible pour Amazon Nova Pro dans les régions USA Est (Virginie du Nord), USA Est (Ohio) et USA Ouest (Oregon) via l’inférence interrégionale.

Pour plus d’informations sur la tarification, visitez la page de tarification.

Le tableau suivant présente les profils d'inférence qui prennent en charge l'optimisation de la latence :

Pour plus d'informations sur les profils d'inférence, consultezRégions et modèles pris en charge pour les profils d'inférence.