Ottimizzare l’inferenza del modello per la latenza

L’inferenza ottimizzata per la latenza per i modelli di fondazione in Amazon Bedrock consente di ottenere tempi di risposta più rapidi e una maggiore reattività per le applicazioni di IA. Le versioni ottimizzate di Amazon Nova Pro, del modello Claude 3.5 Haiku di Anthropic e dei modelli Llama 3.1 405B e 70B di Meta offrono una latenza ridotta in modo significativo senza compromettere la precisione.

L’accesso alla funzionalità di ottimizzazione della latenza non richiede alcuna configurazione aggiuntiva né alcun fine-tuning del modello e consente il miglioramento immediato delle applicazioni esistenti con tempi di risposta più rapidi. È possibile impostare il parametro “latency” su “optimized” quando si chiama l’API di runtime di Amazon Bedrock. Se si seleziona “standard” come opzione di invocazione, le richieste vengono gestite con inferenza standard. Per impostazione predefinita, il routing delle richieste viene eseguito in modalità “standard”.

"performanceConfig" : {
    "latency" : "standard | optimized" 
}

Una volta raggiunta la quota di utilizzo per l’ottimizzazione della latenza per un modello, tenteremo di soddisfare la richiesta con latenza standard. In questi casi, la richiesta verrà addebitata in base alle tariffe della latenza standard. La configurazione della latenza per una richiesta soddisfatta è visibile nella risposta dell’API e nei log di AWS CloudTrail. È anche possibile visualizzare i parametri per le richieste ottimizzate per la latenza nei log di Amazon CloudWatch alla voce “model-id+latency-optimized”.

L’inferenza ottimizzata per la latenza è disponibile per Llama 3.1 70B e 405B di Meta e per Claude 3.5 Haiku di Anthropic nelle Regioni Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l’inferenza tra Regioni.

L’inferenza ottimizzata per la latenza è disponibile per Amazon Nova Pro nelle Regioni Stati Uniti orientali (Virginia settentrionale), Stati Uniti orientali (Ohio) e Stati Uniti occidentali (Oregon) tramite l’inferenza tra Regioni.

Per ulteriori informazioni sui prezzi, consulta la pagina sui prezzi.