Ottimizza l'inferenza del modello per la latenza

L'inferenza ottimizzata per la latenza per i modelli di base Amazon Bedrock offre tempi di risposta più rapidi e una migliore reattività per le applicazioni di intelligenza artificiale. Le versioni ottimizzate del Amazon Nova Promodello Claude 3.5 Haiku di Anthropic e dei modelli Llama 3.1 405B e 70B di Meta offrono una latenza notevolmente ridotta senza compromettere la precisione.

L'accesso alla funzionalità di ottimizzazione della latenza non richiede alcuna configurazione aggiuntiva o messa a punto del modello, e consente il miglioramento immediato delle applicazioni esistenti con tempi di risposta più rapidi. Puoi impostare il parametro «Latency» su «optimized» mentre chiami l'API di runtime Amazon Bedrock. Se selezioni «standard» come opzione di invocazione, le tue richieste verranno servite tramite inferenza standard. Per impostazione predefinita, tutte le richieste vengono indirizzate tramite «standard».

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

Una volta raggiunta la quota di utilizzo per l'ottimizzazione della latenza per un modello, tenteremo di soddisfare la richiesta con latenza standard. In questi casi, la richiesta verrà addebitata in base alle tariffe di latenza Standard. La configurazione della latenza per una richiesta servita è visibile nella risposta e AWS CloudTrail nei log dell'API. Puoi anche visualizzare le metriche per le richieste ottimizzate per la latenza nei Amazon CloudWatch log alla voce «model-id+latency-optimized».

L'inferenza ottimizzata per la latenza è disponibile per Llama 3.1 70B e 405B di Meta, nonché per Claude 3.5 Haiku di Anthropic nelle regioni Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite inferenza interregionale.

L'inferenza ottimizzata per la latenza è disponibile Amazon Nova Pro nelle regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l'inferenza tra regioni.

Per ulteriori informazioni sui prezzi, visita la pagina dei prezzi.