Ottimizzare l’inferenza del modello per la latenza

L'inferenza ottimizzata per la latenza per i modelli di base Amazon Bedrock offre tempi di risposta più rapidi e una migliore reattività per le applicazioni di intelligenza artificiale. Le versioni ottimizzate di Amazon Nova Pro, del modello Claude 3.5 Haiku di Anthropic e dei modelli Llama 3.1 405B e 70B di Meta offrono una latenza ridotta in modo significativo senza compromettere la precisione.

L’accesso alla funzionalità di ottimizzazione della latenza non richiede alcuna configurazione aggiuntiva né alcun fine-tuning del modello e consente il miglioramento immediato delle applicazioni esistenti con tempi di risposta più rapidi. È possibile impostare il parametro “latency” su “optimized” quando si chiama l’API di runtime di Amazon Bedrock. Se si seleziona “standard” come opzione di invocazione, le richieste vengono gestite con inferenza standard. Per impostazione predefinita, il routing delle richieste viene eseguito in modalità “standard”.

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

Una volta raggiunta la quota di utilizzo per l’ottimizzazione della latenza per un modello, tenteremo di soddisfare la richiesta con latenza standard. In questi casi, la richiesta verrà addebitata in base alle tariffe della latenza standard. La configurazione della latenza per una richiesta servita è visibile nella risposta e nei log delle API. AWS CloudTrail Puoi anche visualizzare le metriche per le richieste ottimizzate per la latenza nei Amazon CloudWatch log alla voce «model-id+latency-optimized».

L’inferenza ottimizzata per la latenza è disponibile per Llama 3.1 70B e 405B di Meta e per Claude 3.5 Haiku di Anthropic nelle Regioni Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l’inferenza tra Regioni.

L’inferenza ottimizzata per la latenza è disponibile per Amazon Nova Pro nelle Regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l’inferenza tra Regioni.

Per ulteriori informazioni sui prezzi, consulta la pagina sui prezzi.

La tabella seguente mostra i profili di inferenza che supportano l'ottimizzazione della latenza:

Per ulteriori informazioni sui profili di inferenza, vedere. Regioni e modelli supportati per i profili di inferenza